INVESTIGACION
RESUMEN
En este trabajo se presenta una aplicación del PASS-3 (Programa de Análisis de Sistemas de Servicios) a una residencia de acogimiento de menores con el fin de valorar el programa. En el diseño se introduce la posibilidad de realizar una repetición de la medida con el intervalo de un año y siendo diferente el contexto físico de la institución. Se analizan las diferencias encontradas entre ambos contextos y el tipo de elementos que este instrumento evalúa.
Valoración de programas. Programas residenciales para menores Evaluación ambiental.
This paper presents a program evaluation of a children residental care using PASS-3 (Program Analysis of Service Systems). The design includes two different measures of the program in two different contexts with one year interval, Differences between both contexts and items content are analyzed.
Program evaluation. Residental care for children. Environmental assessment.
Uno de los ámbitos de aplicación de la psicología que mayor auge está teniendo en la última década es el de la evaluación de programas o valoración de intervenciones como prefieren denominar otros autores (Fernández-Ballesteros, 1983; Pelechano, 1988) ateniéndose a un mayor rigor terminológico. Habitualmente para valorar determinados programas de intervención psicosocial se recurre a un diseño complejo de recogida de variables en el que se hace necesario utilizar diversas técnicas e instrumentos (registros de datos, cuestionarios, entrevistas, observaciones, etcétera, lo que convierte esta tarea en un proceso costoso y complicado.
En este artículo presentamos una valoración de un programa residencial de acogida de menores, realizado mediante un único instrumento (si bien incorpora diversas técnicas) conocido como PASS-3 (Programa de Análisis de Sistemas de Servicios) de Wolsfenberger y Glenn (1982). Este instrumento ha sido empleado en nuestro país con alguna frecuencia debido a que existe versión en castellano, aunque que nosotros sepamos no ha sido empleado en el tipo de programa que aquí se expone. En nuestra investigación este instrumento fue utilizado en el marco de otras medidas que trataron de convertir el centro de acogida en un contexto ambiental y por tanto utilizar la metodología al uso para evaluar tales unidades (véase para la fundamentación teórica y metodológica Fernández-Ballesteros, 1982, 1987 y aplicada a centros de menores Fernández del Valle, 1992).
Para este artículo estableceremos el objetivo de mostrar el uso del instrumento y los resultados obtenidos, así como algunas acotaciones críticas al PASS-3. Además, aprovechando el diseño en que se enmarcó la evaluación podremos observar la sensibilidad de las medidas realizadas con respecto a un lapso de tiempo de un año, en el cual el centro tuvo que cambiarse de edificio por obras. Esto produjo una situación en la cual podíamos evaluar el programa en dos contextos ambientales diferentes (para una visión de conjunto de la investigación véase Fernández del Valle y Fernández-Ballesteros, 1993).
El objeto de evaluación es una institución para menores que se encuentra en un pueblo cerca de Oviedo, y que actualmente pertenece a la Dirección Regional de Acción Social de la Consejería de Sanidad y Servicios Sociales del Principado de Asturias. Como todas las que pertenecen al citado organismo llevan la denominación de Casa Infantil Juvenil y alojan menores de 3 a 18 años, si bien cada una de estas casas procura abarcar un determinado tramo de edad de forma prioritaria. En nuestro caso, nos hallamos ante una institución en la que las edades oscilan entre los 9 y 18 años, todos varones, y cuya capacidad máxima es de cuarenta y cinco residentes. Al frente de la institución está un director y un equipo de ocho educadores.
El programa se ubica en un edificio que se construye como pequeño palacio en el siglo XVI y que adquiriría el Tribunal Tutelar de Menores en los años cuarenta, realizando entonces ya varias reformas. Cuenta con una gran extensión de terrenos en los alrededores con pomaradas, invernaderos, etc. Su ubicación en un pueblo, permitía en principio un acceso rápido a la comunidad y la posibilidad de relaciones con la misma.
Debido precisamente a la estructura, sobre todo en lo que respecta al reparto funciona¡ de espacios, se diseñó una reforma que convertiría el edificio en una serie de cinco espacios relativamente independientes (especie de apartamentos interiores) con los servicios generales comunes, para alojar cinco grupos de menores con dos educadores cada uno. Esta reforma implicaba desplazarse durante un año (curso académico entero) a otro edificio. Este asentamiento temporal se realizó en una macroinstitución de la capital del Principado, aprovechando una de las alas del edificio. Situada en el extrarradio de la ciudad, como era típico, y rodeada de centros escolares y otras instituciones (residencia de ancianos) las posibilidades de relaciones con la comunidad parecían más complicadas.
Dadas estas condiciones se aplicó el PASS-3 durante la fase de traslado provisional y al año siguiente se hizo una nueva aplicación ya establecidos en el edificio propio reformado.
Conviene advertir que este trabajo es de investigación por el contexto en el que se realizó y que su hipótesis principal era que el cambio de contexto físico ocasionarían una mejora en los aspectos tanto organizativos como psicosociales y conductuales de la residencia de menores. Sin embargo, en lo que aquí se presenta más que una hipótesis definida a priori se tratará de averiguar la sensibilidad del PASS-3 a este cambio de contexto físico, y en qué aspectos de los muchos que se evalúan con este instrumento se deja notar. Como en muchas otras investigaciones aplicadas pensamos que el interés no es tanto la confirmación de una hipótesis como la viabilidad o utilidad de una técnica sea de intervención, o como en este caso, de valoración.
El PASS-3 es un instrumento muy Complejo y aquí (por falta de espacio) sólo se expondrán algunas consideraciones indispensables para la comprensión de este trabajo.
Se trata de un instrumento de evaluación integral, no sólo de servicios residenciales del tipo que a nosotros nos interesa, sino también para otros servicios o sistemas de servicios sociales. Según su autor:
Este instrumento se propone una valoración minuciosa de una larga serie de ítems, que van pasando revista a los aspectos tanto físicos, como organizativos, tipología de usuarios, aspectos de administración y financiación, promoción de personal etc., pero de modo muy especial a la ideología dl¡ servicio. Esta ideología está analizada desde el concepto que el propio Wolsfenberger (1972) ha situado y desarrollado como eje central y actuación (por utilizar la terminología actual de este sector) en servicios sociales, y que ha denominado normalización. Para este autor la normalización "...implica el uso de medios que sean culturalmente tan normativos como sea posible, para obtener y/o mantener en los usuarios (potencialmente "inadaptados") conductas que sean también tan culturalmente normativas como sea posible. ". (Wolsfenberger y Glenn, 1982, pag. 8.)
Los ítems de evaluación que componen esta prueba, son los que a continuación se detallan.
Integración física
Interpretaciones socialmente integradoras
Estructuras de programas socialmente integradoras
Interpretaciones y estructuras correspondientes a la edad
interpretaciones y estructuras correspondientes a la cultura
Orientación de la superación y el desarrollo
Calidad del medio
Administración de acuerdo a la ideología
Orientación en ciencias humanas
Prioridades regionales
Consideraciones sobre el personal
Administración interna
Cada uno de estos ítems está definido en el manual y el equipo de evaluadores debe valorado otorgándole un determinado nivel. Estos niveles de adecuación oscilan de tal modo que en algunos elementos existen tres niveles y en otros hasta seis. Además de una detallada explicación de cada ítem, el manual aporta al evaluador una amplia lista de ejemplos que ayuden a tomar la decisión adecuada.
El procedimiento de aplicación de este dispositivo es largo y costoso, y requiere de unos evaluadores conocedores de la realidad de este tipo de servicios. Es necesario formar un equipo de personas que recojan material documental del centro (como evaluaciones, memorias, programas, etcétera), lo visiten efectuando una minuciosa observación del contexto físico, establezcan entrevistas con el personal y los usuarios, y finalmente pongan en común sus anotaciones determinando mediante el proceso de "consenso" el nivel en el que se encuentra cada ítem. Este es el procedimiento a seguir según el manual y es el que realizamos.
El poder disponer de evaluadores con experiencia en este sector fue una de las condiciones que nos decidieron a aplicar esta prueba. El equipo se formó con dos personas de profesión psicólogos, con varios años de experiencia en los servicios sociales, especialmente en protección de menores. Los dos conocían y tenían experiencia de trabajo en más de un centro de este tipo. La prueba se aplicó en ambos contextos en la misma época (mes de abril) de los dos años consecutivos para eliminar el posible efecto extraño que pudiera producir esta variable (es conocido el carácter cíclico de algunas actividades en estos centros). Una vez obtenida toda la información necesaria se procedió a consensuar el nivel que se le otorgaba a cada ítem.
En cuanto al proceso de corrección y puntuación, sería muy largo de explicar con detalle, pero en forma resumida es el que sigue. En primer lugar, como ya se dijo, los evaluadores otorgan un nivel a cada ítem, que oscila entre una apreciación pésima del aspecto a evaluar o una valoración óptima. Entre ambas, y dependiendo del ítem, se encontrarán los niveles intermedios que en algunos casos totalizaran únicamente tres y en otros hasta seis. Una vez obtenidos los niveles de evaluación, se debe consultar el manual para transformar cada nivel en una puntuación ponderada que el propio autor ha establecido en función de la importancia que otorga al elemento concreto de que se trate. De tal modo que, finalmente, cada ítem será puntuado en una escala donde puede obtener puntos negativos (si está por debajo del nivel aceptable) o positivos (si está por encima de lo aceptable). Con ello se puede realizar una suma total de puntos que, aunque no sea el aspecto de mayor importancia puede servir de orientación general del resultado de la valoración. En la presentación de resultados se irán exponiendo los datos en puntuaciones ponderadas, que recordamos pueden ser negativas o positivas, siendo el valor cero el indicador de un nivel mínimo aceptable.
Si se obtiene la suma total de puntuaciones ponderadas de cada uno de los ítems, el resultado es de 91 puntos, para el contexto A, mientras para el contexto B fue de 370 puntos. Esta puntuación total, en el PASS-3, puede oscilar dentro del rango que abarca desde -947 hasta 1.000 puntos, representando estos valores la calificación de un servicio que obtuviera el más bajo nivel o el más alto, respectivamente, para todos los ítems. Un servicio que fuera calificado en todos sus elementos con el nivel mínimamente aceptable obtendría una puntuación cero, por lo que cualquier puntuación positiva indicaría el grado en que se sobrepasa este mínimo.
Como datos de referencia, existe un estudio citado por Wolsfenberger en el manual de la prueba (Flynn, 1974), en el que se analizan con este instrumento más de 100 servicios, con el objetivo de probar sus cualidades estadísticas. En este trabajo se obtiene una media para la puntuación total de 229 puntos, así como una "fiabilidad interna (inter-ítems)" que oscila entre 0,89 y 0,92.
A tenor de estas consideraciones podemos concluir que nuestra institución en el contexto A se encuentra por debajo del nivel mínimamente aceptable, mientras que al pasar al contexto B obtiene una puntuación por encima del promedio de las entidades de servicios sociales del estudio anteriormente citado (recuérdese que el contexto A se refiere a la ubicación provisional, tipo macrocentro, mientras que el B es el centro reformado supuestamente óptimo). Precisamente la puntuación se aproxima a los 400 puntos, que para el autor de la prueba supone el Emite a partir del cual se puede afirmar que un servicio es de calidad, y por ello algunos organismos (el manual cita la Oficina para la Deficiencia Mental de pensylvania) sitúan en este límite el mínimo exigido para la financiación de estos servicios.
La misma institución obtiene, por tanto, una diferencia de 461 puntos al pasar de un contexto ambiental a otro, lo que indica la importancia de la elección de la ubicación y el diseño del espacio físico adecuados para este tipo de servicios, por un lado, y de la sensibilidad de este instrumento a los cambios contextuales. Sin embargo, nos queda por analizar en qué tipo de ítems se producen estas variaciones.
Una primera fuente de variación muy importante para nuestros objetivos, ya que como se afirmó más arriba nos situamos en el marco de la evaluación ambiental, es la que el propio autor facilita al agrupar una serie de ítems bajo el rótulo de calificación del emplazamiento, con lo que se puede obtener una puntuación específica para los ítems referentes a la ubicación y el espacio físico. Los resultados se encuentran en la tabla 1.
Sólo con 10 ítems (la prueba total tiene 50, de los que hemos aplicado 47) se obtiene ya una diferencia entre el contexto A el B de 134 puntos, un 29,1 % de la diferencia total, lo que nos indica las importantes diferencias entre uno y otro emplazamiento físico. Se puede observar que existen ítems referentes al emplazamiento geográfico y la relación con la comunidad vecina (como los de proximidad o acceso) y otros referentes al confort y la imagen. Respecto a los primeros, cabe decir que son de suma importancia puesto que la ubicación tradicional de estos centros en entornos aislados de las ciudades, separados probablemente debido a las grandes superficies de terreno que ocupaban las macroinstituciones, generaban varios efectos negativos como nos recuerda Richardson (1981). Este autor afirma que el alejamiento de los núcleos de población originaba un escaso contacto familiar debido a las dificultades de desplazamiento, una mayor movilidad en el personal que estaba obligado a desplazarse diariamente, y una muy difícil utilización de los recursos comunitarios 1.
Iremos exponiendo los resultados para cada uno de los apartados en que el autor agrupa los elementos de evaluación, y teniendo en cuenta las dos medidas que llamaremos del contexto A (lugar provisional de desplazamiento, típicamente macroinstitucional en su estructura y ubicación) y contexto B (lugar propio reformado con compartimentos tipo piso, etc.).
Como se observa en la tabla 2, existen diferencias menores (un 3% de la diferencia total) en el apartado de Integración física, que "... implica generalmente la existencia de edificios (o por lo menos de medios), es decir, medios físicos que sirvan de intermediarios a los servicios a nivel humano y que permitan o faciliten la integración social.". (Wolsfenberger y Glenn, 1982, pág. l.) Los dos centros presentan importantes semejanzas en cuanto a este aspecto, ya que se sitúan geográficamente en zonas parecidas, su relación al núcleo de población también es equivalente, y tienen un acceso semejante.
En cuanto a la integración social, se valoran los esfuerzos del servicio por reducir la tradicional tendencia de los mismos a la segregación. Por un lado, desde el punto de vista de la imagen que produce sobre el público en aspectos tan externos como el propio nombre del centro, la imagen del edificio y la asociación con otros individuos inadaptados. Debe recordarse que para Wolsfenberger el concepto de normalización incluye este tipo de aspectos que pudieran parecer superficiales pero que pueden erigirse en importantes obstáculos para una integración social de los menores residentes (recuérdense nombres como "casa de misericordia", "inclusa", "beaterío", etc.). Además se valoran ciertas "estructuras de programa" y ciertas maneras de llevarlos a la práctica. fundamentalmente se analiza el grado en que los usuarios mantienen relaciones con otras personas inadaptadas (incluyendo la posibilidad de que parte del personal trabajador del centro presente este problema), y el tipo y la extensión de las actividades que potencian la integración social.
Las diferencias en este apartado (también en la tabla 2), son importantes y suponen un 23% de la diferencia total observada. Se deben fundamentalmente a la imagen del edificio del primer centro, poco compatible con el concepto de "Casa Infantil", así como ciertas yuxtaposiciones a través de símbolos (especialmente de tipo religioso) que se penalizan por su asociación a entidades de caridad, etc. Otro aspecto importante y diferencial es el distinto tipo de actividades integradoras que cada contexto posibilita Como ejemplo podríamos citar el uso del transporte que en el centro A no podía ser público, sino específico para los usuarios, lo cual limitaba las posibilidades de interacción social normalizadoras, mientras en el B sí se utilizaba el transporte público.
En resumen, diríamos que las actividades socialmente integradoras dependen en una buena parte del contexto geográfico y comunitario en el que se ubica un centro. En esta línea, un análisis de las posibilidades que un determinado contexto proporciona para estas actividades y que nos parece muy importante para planificarlas adecuadamente es el que realizan Espinosa, Rubio y Márquez (1987), a través de un inventario de los lugares de la comunidad a los que pueden acceder los residentes, y el tipo de conductas que allí pueden desarrollar. Nos parece una aportación muy provechosa para este tipo de programas residenciales de menores.
En este apartado (ver tabla 3) se valoran las formas de trato a los usuarios y las limitaciones a sus derechos y libertades, con referencia a su edad. Aunque el autor de la prueba afirma que normalmente lo penalizable es la situación en que un adulto o anciano (aún más frecuente) es tratado como un niño, en este caso existen algunas penalizaciones en el centro A, referentes al establecimiento y su equipamiento, donde están ausentes elementos que pudieran dar una imagen jovial del entorno, y por contra los colores y el mobiliario son de gran seriedad, sin concesiones estéticas a los usuarios. Al mismo tiempo se penaliza la limitación del comportamiento sexual en el primer centro por su limitación de las posibilidades de relación con niños o jóvenes del sexo contrario, subsanadas en el centro B, donde el entorno vecinal, el transporte normalizado, las visitas de amistades al centro, etcétera, lo hacían más fácil.
Las diferencias en este caso se deben más a una importante mejora de las condiciones en el centro B, que a la penalización de ítems en el centro A El cambio de contexto produce unos niveles de autonomía, v unos ritmos de rutinas v actividades, muy semejantes a los menores que viven en familias, especialmente por su integración en las actividades y relaciones que la comunidad que les rodea, cuestión que no fue posible en el centro A. Las diferencias en este caso suponen un 19 % del total, y nos conducen a valorar la importancia de la integración de los menores en el entorno vecinal para una normalización de sus actividades diarias.
En lo que respecta a la adecuación con la cultura se trata de valorar la discordancia entre las actividades, el entorno, el aspecto de los usuarios, sus derechos, etc., y lo que culturalmente es normativo. En este caso sigue penalizado el centro A en cuestiones de equipamiento, que no guarda relación a lo que hoy día cabe esperar en cuanto a estética, decoración, mobiliario, etc. Las diferencias en este caso suponen un 7 % del total.
En el subgrupo de orientación para el desarrollo se tratan de evaluar ciertos aspectos que influyen sobre la evolución y desarrollo de los usuarios, y sobre la imagen que obtienen de ellos mismos. Se penalizan los entornos que no permiten al individuo enfrentarse a situaciones donde deben asumir responsabilidades y enfrentarse a novedades en incluso a riesgos limitados, es decir, aquellos servicios donde la actividad del usuario es pasiva, estática y sobreprotegida, generando un autoconcepto en el mismo de la persona desvalida.
En este caso (ver tabla 4) se penalizan en el centro A las limitaciones que el servicio tiene en cuanto a las posibilidades de interacciones sociales fuera y dentro del centro. Se evidencia una fuerte mejora en el centro B en cuanto a la intensidad de la programación pertinente, ítem que incide en el grado en que el programa y el entorno permite estimular al individuo en diferentes actividades, uso de espacios y utensilios. En este sentido el centro B a través de espacios específicos como invernaderos, vaquería, etc., tiene unas posibilidades por encima de lo habitual. Las diferencias respecto al total para este apartado son del 11 %.
La calidad del medio trata de evaluar el grado de confort, comodidad, y atractivo tísico que el contexto tiene para el usuario. Las diferencias, a pesar de ser sólo cuatro ítems, alcanzan a un 25 % de la diferencia total entre los centros A y B (ver tabla 4).
Se pueden observar importantes penalizaciones para el centro A, a la vez que unos niveles más que aceptables para el B, en los aspectos de confort y belleza. En el aspecto de individualización o grado en que los individuos pueden personalizar su entorno más íntimo en el centro, el centro B permanece en el mínimo aceptable por cuanto siguen sin resolverse cuestiones como la decoración de habitaciones por los usuarios, o disponibilidad de lugares para guardar con seguridad efectos personales, etc. Las interacciones, que podrían definirse en este apartado, como el grado de calidad y confort del medio social, se mantienen equivalentes y por encima del nivel mínimo aceptable.
La ideología de normalización intenta evaluar cómo se cristalizan en la práctica los criterios ideológicos básicos de normalización, integración y coordinación entre servicios. Las diferencias son relativamente pequeñas, pero destaca la penalización en cuanto a la escasa participación de los usuarios y el público en la administración del centro. Es lógico que los criterios ideológicos de un programa tengan una menor vulnerabilidad a cambios ambientales, por cuanto la manera de pensar acerca de los objetivos y fines de una residencia de acogida debe estar por encima de peculiaridades contextuales. Otra cosa es, como hemos visto antes, que el cambio ambiental incida gravemente en las posibilidades de llevarlo a la práctica
Estos últimos aspectos, referentes a cuestiones de orientación del programa hacia aspectos de investigación, sus aspectos de administración, la política de personal, etc., son los que menos afectados se encuentran por el cambio de contexto. Las diferencias en estos epígrafes suponen solamente un 4 % del total. Parece lógico que los aspectos referentes a la administración del programa (que incluye como se aprecia en la tabla 4, cómo se realizan las tareas de planificación o evaluación en el propio centro) sean también unos de los menos afectados por un cambio de contexto, al mismo tiempo que se observan en estos apartados las áreas menos penalizadas.
Quisiéramos, eso sí, comentar la distinción que realiza el autor de la prueba en cuanto a desarrollo de personal y perfeccionamiento. Por este último entiende el reciclaje y formación en el sentido usual del término. Sin embargo, por desarrollo de personal concibe la programación por parte de los responsables de los programas sociales de actuaciones dirigidas a que exista en el mercado, en el contexto social, un suficiente número de personas ya debidamente formadas de donde proceder a "reclutar" (en la acepción que este término tiene en la psicología del trabajo) a los candidatos a cubrir vacantes laborales. Nos parece una observación interesante por parte del autor ya que efectivamente en el tema de educadores de menores nos encontramos con una situación en la cual existen esfuerzos por reciclar y formar a los que ya están trabajando, pero curiosamente cuando se producen vacantes las personas que se presentan no suelen ajustarse a una formación homogénea sino que proceden de otras profesiones (maestros, psicólogos, pedagogos, etc.). Es de esperar que los esfuerzos del Centro de Estudios del Menor, y más aún en el futuro la puesta en marcha de la Diplomatura de Educador Social (en proyecto en la Universidad de Oviedo, por ejemplo) den por resultado una formación óptima y homogénea.
La intención de este artículo era exponer una aplicación concreta de uno de los escasos instrumentos específicos para la valoración de programas residenciales con los que contamos en castellano. Aplicado a un mismo programa residencial de menores en dos momentos distintos con un años de intervalo ha permitido observar algunas diferencias importantes, achacables al menos en gran parte al cambio de contexto físico que se produce.
Como se ha podido constatar, el cambio de contexto físico influye sobremanera en una mejora de las posibilidades de integración social, en la calidad del medio, en la adaptación del equipamiento y el entorno a la edad de los usuarios del programa y de algunos aspectos más concretos pero esenciales como la capacidad del programa para aprovechar al máximo los recursos de que dispone ("intensidad de la programación pertinente").
Otros aspectos más ideológicos como los principios de normalización o la política de personal no se ven tan influidos por el cambio de contexto, lo cual es lógico puesto que es difícil establecer relaciones teóricas entre ambos tipos de variables.
En definitiva, podríamos concluir que la mejora de las condiciones físicas y arquitectónicas de un programa residencial pueden provocar importantes ganancias en diversos aspectos de la valoración del mismo, así como unas deficientes condiciones de ubicación y equipamiento pueden provocar importantes limitaciones en cuestiones como la integración social o las posibilidades de un desarrollo personal óptimo. Habría que recalcar que no se trata de mejoras "estéticas" sino de aspectos muy esenciales del programa que se ven facilitados por un adecuado diseño físico.
Por otra parte, convendrá decir que no se trata de sobrestimar la importancia de los factores físicos en un programa de este tipo. Los aspectos ideológicos (objetivos, metas, "filosofía del programa", etc.) y la metodología educativa, así como la organización (tipo de personal contratado, funciones, etc.) son decisivos y, de hecho, es fácil observar cómo en ocasiones una residencia desarrolla un trabajo excelente a pesar de sus deficiencias en cuanto a recursos. Sin embargo, las investigaciones sobre el complejo entramado de factores que configuran un programa residencial para la infancia y su influencia sobre la calidad del mismo, está en gran parte por hacer y es necesario proseguir con trabajos empíricos que sean soporte para futuras tomas de decisiones.
No quisiéramos finalizar sin realizar un par de comentarios sobre el instrumento aplicado en este trabajo. El PASS-3, a nuestro entender, tiene la virtud de recorrer de un modo realmente incisivo muchos de los elementos clave de un programa residencial en lo que se refiere a contexto físico-arquitectónico y organización, convirtiéndose en un análisis pormenorizado, amplio y pertinente. Además, las técnicas de recogida de información incluyen la entrevista, la observación y el análisis de documentos lo que la convierte en un instrumento multitécnica con el interés que ello conlleva. Sin embargo, presenta también algunos problemas como procedimiento de valoración. Desde un punto de vista teórico, la excesiva saturación de una ideología normalizadora que se filtra a través de casi todos los ítems, convierte el instrumento en una valoración del constructo "normalización", restringiendo bastante el interés de su aplicación, toda vez que la concepción de Wolsfenberger no es la única posible. En cuanto a aspectos metodológicos, el procedimiento de emplear un grupo de expertos que van consensuando una puntuación a cada ítem no permite hallar índices de fiabilidad interjueces, aspecto que sería importante para valorar la garantía científica del instrumento.
En cualquier caso, la valoración de programas de servicios sociales requiere aún mucha investigación sobre las técnicas que utiliza y sobre sus garantías científicas ya que éstas (fiabilidad y validez) no son exclusivas de la evaluación psicométrica. Es importante recordar que la valoración de programas debe contextualizarse en la evaluación psicológica, con sus presupuestos metodológicos y científicos.
