DOSSIER
RESUMEN
La evaluación de programas está considerada en la actualidad como una de las claves de la intervención social. Sin embargo, los problemas de procedimiento son enormes y sigue siendo difícil presenciar buenas evaluaciones de programas. Las dificultades metodológicas no parecen haberse resuelto con la proliferación de propuestas del modo de llevar a cabo las evaluaciones. Desde esta perspectiva el artículo intenta presentar un posible reenfoque de las alternativas basado en una primera reflexión por parte del evaluador con respecto al papel que debe jugar como evaluador. Este rol implicará diferentes estrategias prioritarias que, a su vez, le ayudarán a elegir los procedimientos y técnicas que mejor se ajusten a sus fines. Los roles que se presentan, por otra parte, están construidos sobre un análisis de las propuestas de los autores más importantes de la evaluación de programas.
Evaluación de programas. Metodología. Intervención Social.
Program evaluation is regarded as one of the most important topics of current social intervention. However, the trouble with methodology and procedures are enormous, so it is very difficult to find good examples of program evaluations. Methodological difficulties seem not to be overcome despite the proliferation of propositions about procedures to carry out evaluations. From this point of view, this article presents a new scope of methodological alternatives based on a first appraisal of the type of role needed in each evaluation. This elected role will involve different priority strategies to guide the choice of procedures or techniques more suitable to reach the targets of a specific evaluation. Vie roles elaborated in this article are based on an analysis of the procedure proposals elaborated by the most mayor authors in program evaluation.
Program evaluation. Methodology. Social Intervention.
Pocos temas suscitan tanto interés, dentro de la intervención social, como la evaluación de programas. La necesidad de contrastar los resultados de los programas sociales con criterios de adecuación, calidad, idoneidad, pertinencia, eficiencia, etc, viene proclamándose constantemente durante las últimas décadas como una prioridad indiscutible. Las publicaciones especializadas, las reuniones científicas y los propios profesionales y gestores de los programas sociales, insisten cada vez más en la necesidad de proceder a realizar evaluaciones rigurosas si lo que se persigue es la mejora de estos programas y, en general, el avance de nuestro conocimiento científico y profesional acerca de los problemas que los mismos abordan
Sin embargo, estas necesidades ampliamente compartidas chocan con numerosas dificultades de muy diversa índole. No nos vamos a detener aquí en algunas sobradamente conocidas y ampliamente detalladas en otros trabajos, como es el caso de las dificultades del contexto político en el que los programas se desarrollan (véase Weiss, 1975; Fernández Ballesteros, 1986), o las profundas controversias entre metodologías cuantitativas y cualitativas, o las que se derivan de planteamientos epistemológicos enfrentados al positivismo imperante hasta la última década (véase el trabajo de Guba y Lincoln, 1989). La complejidad de la tarea de evaluar programas sociales se ha visto acrecentada por la dispersión de procedimientos propuestos, en constante disputa entre ellos, y en general como ya dijera Cronbach hace años por el exceso de palabrería. En efecto como subraya el excelente manual de Shadish, Cook y Leviton (1991) la enorme cantidad de procedimientos de evaluación sugeridos por muy diversos autores en las últimas décadas contrastan con la ausencia de verdaderos modelos o sustratos teóricos que los fundamenten
A partir de esta situación se comprenderá que las decisiones que un evaluador debe tomar para proceder a la valoración de un programa son difíciles por la amplitud de las propuestas y las escasas garantías que ofrecen. Casi todas las propuestas metodológicas de evaluación de programas inciden en la importancia de tomar una serie de decisiones dirigidas de manera especial al tipo de variables a recoger, las técnicas, el análisis estadístico, el tipo de sujetos participantes, etc. Todos estos aspectos, sin duda esenciales al procedimiento de evaluación de programas, dependerían, a nuestro juicio, de previas decisiones que podríamos denominar estratégicas, por cuanto su perspectiva va más allá de las necesidades concretas del modo de recoger, procesar e interpretar información. La idea básica que tratamos de exponer en este artículo es que el análisis del contexto político y social en el que se desenvuelve una evaluación concreta y, muy especialmente el tipo de demanda o «encargo» que se recibe, debe servir para tomar una posición estratégica con respecto a todo el procedimiento de evaluación que será de gran utilidad para tomar decisiones respecto a la metodología a seguir. En concreto esta posición estratégica la proponemos en términos de opción por un determinado rol que el evaluador va a jugar en todo el proceso. Estos roles, a nuestro juicio siempre desempeñados por los evaluadores aunque normalmente de manera tácita, derivan de las diversas formas de realización de las evaluaciones que históricamente se han ido acumulando mediante las propuestas de los más relevantes autores. En este artículo se describirán primeramente las ideas básicas de estos autores y a continuación los tipos de roles o estrategias que pueden sopesarse antes de proceder al diseño de una evaluación.
De manera muy sintética, puesto que el tema es muy amplio, describiremos los momentos históricos que caracterizan el desarrollo de la evaluación de programas, con la finalidad de fundamentar el posterior apartado de estrategias y roles en evaluación.
1. El auge de los programas sociales en los años sesenta.
Si bien la valoración de programas se enraíza en el ámbito de los programas educativos, (especialmente con el trabajo de Tyler en los años treinta), por lo que respecta al ámbito de los programas sociales el gran desarrollo se va a producir en la década de los sesenta como producto de una serie de circunstancias de muy variada índole. En la sociedad norteamericana se va a producir una toma de conciencia de las graves desigualdades sociales existentes y comienza el desarrollo de importantes programas sociales bajo el lema de la «lucha contra la pobreza» y la promesa de un estado del bienestar que aprovechaba una situación económica favorable. Los programas abarcaban prácticamente a todos los sistemas de protección social: salud, educación, vivienda, etc, pero la novedad más importante la suponían los programas de los servicios sociales tales como ayudas económicas o protección familiar, que en algunos casos como el programa de ayuda a las familias con hijos (Aid to Families with Dependent Children) pasaron a multiplicar por veinte su presupuesto entre 1950 y 1979 (Bell, 1983).
La profusión y el gran costo de estos programas llevaron a la necesidad de una adecuada valoración por varias razones. En primer lugar, porque en el contexto de los Estados Unidos existían importantes desviaciones en el desarrollo de los programas federales cuando se implantaban mediante proyectos locales en los distintos lugares, haciendo necesaria una valoración de la adecuación al programa general. En segundo lugar, los gestores de los programas se enfrentaban a un nuevo tipo de actividades que requerían un aprendizaje para el cual resultaban muy importantes los estudios y evaluaciones que se realizaban. Por último, existía una preocupación intelectual que trataba de averiguar qué tipo de programas realizaban mejor su cometido o alcanzaban con mayor éxito sus objetivos. En este contexto es en el que se considera el nacimiento de la valoración de programas como algo más que la constatación del logro de unos objetivos, tal como había desarrollado Tyler en el terreno educativo.
2. La primera etapa (1965-1975): la valoración como investigación científica.
Los primeros autores que impulsaron decididamente la valoración de programas enfatizaron el carácter de rigor científico que habría de tener para la resolución de los problemas sociales. Este fue el caso de Suchman (1967), que realizó sus aportaciones en el ámbito de los programas de salud mental (hasta su prematura muerte en 1971) y que establecía como método de valoración de programas las estrategias usuales de la investigación científica, si bien reconocía la necesidad de adaptar algunas cuestiones metodológicas a las especiales condiciones del contexto político y social.
En esta etapa realiza sus trabajos básicos Scriven (1967, 1972), conocido no sólo por su especial enfoque del desarrollo de las valoraciones sino también por la aportación conceptual que realiza (términos como formativo y sumativo, metavaloración, etc., son de uso general hoy día). Metodológicamente, establece que los programas sociales deben considerarse productos en un mercado competitivo y por tanto deben valorarse en términos que puedan dar lugar a un informe final para el consumidor, defendiendo la conveniencia de realizar, en muchos casos, estudio comparativos entre programas y juzgar su mérito o calidad. Scriven es el autor que más profundiza en los problemas teóricos del concepto de valor y en la idea de establecer un juicio de calidad al final de la valoración.
La otra aportación fundamental de esta etapa la realiza Campbell, no sólo mediante su clásica obra con Stanley (Campbell y Starfley, 1963), que fue tomada por Suchman (1967) como la orientación básica metodológica para la valoración de programas, sino por posteriores trabajos sobre la relación entre la experimentación y las reformas sociales (Campbell, 1969, 1970, etc). Básicamente establecía que las reformas y programas sociales tendrían éxito si se realizaban las correspondientes investigaciones experimentales, mediante estudios demostrativos, que fueran perfeccionando la sociedad. Creía en la existencia de un evolucionismo científico mediante el cual el conocimiento se acumula selectivamente por su grado de rigor y que aplicado a los programas sociales significaba la necesidad de una continua selección mediante valoraciones científicas.
En esta etapa se insiste especialmente en el rigor científico como herramienta que permitirá averiguar cómo funcionan los programas sociales, en la creencia de que la demostración de la inadecuada calidad de un programa conllevaría. inmediatamente una decisión de modificación o supresión. Igualmente, los resultados positivos de un estudio demostrativo experimental implicarían su aceptación y puesta en práctica.
3. Segunda etapa (1975-1982): Pragmatismo y énfasis en la utilización.
Esta etapa se caracterizará por la desilusión producida por el hecho de observar cómo los procedimientos rigurosos y científicos no tienen las consecuencias previstas. Conocimientos no aceptables desde el punto de vista científico van a ser aceptados sin problemas por los responsables de los programas sociales. Igualmente, las críticas valorativas no van a tener el efecto de modificar o suprimir los programas sociales. En definitiva, las valoraciones no estaban siendo utilizadas por los que toman las decisiones políticas en el grado previsto.
Una de las más importantes figuras de esta etapa, C. Weiss, realiza dos grandes contribuciones. Por un lado, sitúa la problemática de la valoración de programas sociales en su verdadero contexto, esto es, en el de la política. Como ella explica, los programas son criaturas políticas con sus inherentes tensiones ideológicas y de múltiples intereses. Aunque están sujetos a procesos de tomas de decisiones, éstos no siguen un proceso racional y de consecuencias inmediatas, sino que las decisiones políticas tienen su propia dinámica que el evaluador debe conocer. En segundo lugar, y claramente vinculado a lo que se acaba de decir, las valoraciones no cumplirán su cometido (por muy rigurosas que sean) si no son utilizadas por los que toman las decisiones. Para Weiss era decisivo realizar, por parte del evaluador, un trabajo específico dirigido a fomentar el uso posterior de las valoraciones. Para ella esto significaba fundamentalmente un trabajo educativo e «ilustrador» (enlightenment) (Weiss, 1977), mediante el cual el evaluador hacía ver el trasfondo teórico de su trabajo y las implicaciones que los resultados tenían para el desarrollo de los programas.
Wholey (1977, 1979) es otro de los grandes evaluadores de esta etapa. Partía de una misma visión crítica de la etapa anterior y de la misma necesidad de acometer un trabajo específico de acomodación al contexto político y administrativo de los programas sociales. Su aportación es enormemente pragmática, al considerar que el error estaba en la deficiente gestión de los programas sociales, lo que los hacía difíciles de valorar (además de ineficaces). Su propósito más claro fue ayudar a los administradores de los programas a mejorar su realización, estableciendo objetivos más claros y detallando los recursos humanos o técnicos que se debían emplear para mejorar el programa. Más que el trabajo educativo y a largo plazo de Weiss, este autor propone una implicación directa del evaluador en el programa, de tal modo que preste asistencia a los administradores mejorando el programa al tiempo que se lleva a cabo la valoración. Sus indicaciones metodológicas y estratégicas son algunas de las más detalladas, aunque su sesgo al ponerse al servicio de los gestores del programa le han acarreado numerosas críticas.
Finalmente, Stake (1975, 1978) presenta otra alternativa de enorme trascendencia posterior que comparte la crítica a la anterior etapa. Al igual que Wholey opina que es importante involucrarse en el programa para realizar mejoras inmediatas, si bien Stake critica el acercamiento centrado en los administradores del programa y reclama la necesidad de evaluar los intereses de todas las partes implicadas (usuarios del programa, comunidad, profesionales, etc.). Su enfoque trata de centrarse en el proyecto local, en la peculiaridad y factores más específicos de un determinado servicio, para realizar una valoración adaptada a esa situación determinada. Esta concepción la denominó «valoración responsiva» y se oponía a las «valoraciones preestablecidas» que imponían un determinado método de valoración aplicable a cualquier programa. Su énfasis en el idiografismo, le hizo proclamar como herramienta básica la investigación naturalista y el estudio de casos. Desde este punto de vista, se le puede considerar un precursor del modelo de valoración constructivista que en la actualidad defienden especialmente Guba y Lincoln (1989).
C. Weiss, J. Wholey y R. Stake, representan una etapa de claro acercamiento al contexto político y social en el que operan los programas. Con importantes variaciones teóricas y metodológicas, cada uno de ellos va añadiendo conceptos básicos al terreno de la valoración de programas. La importancia de la comprensión de la entidad del programa social y su propia naturaleza política, así como la detenida exploración de las alternativas de la utilización de las valoraciones son las dos grandes aportaciones a una teoría de la valoración de programas.
4. Tercera etapa: la década de los ochenta y los intentos de síntesis.
Como se acaba de exponer, los autores que protagonizan las dos primeras etapas realizan aportaciones muy diversas pero al mismo tiempo bastante parciales. En esta tercera etapa va a llegar un tiempo de síntesis, en el que las preocupaciones de situar las valoraciones en el contexto político y administrativo (incluso involucrándose en el desarrollo del propio programa) van a complementarse con la recuperación de las iniciales preocupaciones por la rigurosidad del método y sus garantías científicas.
Ejemplo paradigmático de ello es el propio Cronbach (1980, 1982) quien asume que la valoración de programas es un acto más político que científico, y que se requiere un cuidadoso análisis de los diversos tipos de intereses en juego en el curso de la valoración. Sin embargo, su preocupación por los aspectos científicos le lleva a plantear la importancia de identificar los elementos efectivos de los programas y poder establecer generalizaciones que sean útiles. Su teoría sobre los UTOS (unidades, tratamientos, observaciones y situación) es una propuesta que trata de analizar la gran complejidad de factores que intervienen en un programa y las precauciones que se deben tomar para realizar inferencias, ya sean dentro del programa o entre programas diferentes. El establecimiento de adecuadas generalizaciones iría proporcionando una base de conocimientos de gran utilidad para el desarrollo de los programas sociales, teniendo el evaluador el rol de un educador dispuesto a ayudar a todas las partes implicadas. En el trabajo valorativo se deberían acometer muchos estudios concretos y encadenados, capaces de responder a multitud de cuestiones, más que un único estudio exhaustivo sobre algún peculiar elemento.
La otra gran propuesta de síntesis la realiza P. Rossi, quien con Freeman escribe uno de los manuales más aceptados de la valoración de programas (Rossi y Freeman, 1982, la quinta edición es del año 1993). Este autor plantea la necesidad de realizar valoraciones integrales que aborden tanto la conceptualización y diseño del programa como su ejecución real y el impacto que tiene. Se plantea una valoración «a medida», dependiendo de que se trate de una innovación, la modificación o extensión de un programa o la valoración de un programa permanente y establecido. Como tercera línea que vertebra su enfoque, las valoraciones deberían estar «guiadas por la teoría», en una propuesta que trata de poner orden en un contexto en que proliferan los métodos y existe escasa sustancia teórica (tal como ya indicaban Weiss o Cronbach). Entre otras aportaciones este autor va a introducir la evaluación de los costes en relación con la efectividad, de tal modo que la valoración incorpore también aspectos económicos.
En esta tercera etapa se produce un enfoque integrador de las anteriores aportaciones, tratando de equilibrar el pragmatismo de la segunda etapa con la rigurosidad metodológica y la reivindicación de la construcción de un sustrato teórico para la valoración de programas. Tanto Rossi como Cronbach van a coincidir en la afirmación de que esta tarea se asemeja mas a un arte que a la aplicación de un método prefijado, así como están de acuerdo en que las demandas del contexto político y administrativo requieren una gran flexibilidad en la utilización de métodos y técnicas.
A la vista de las diferentes perspectivas o enfoques que se han ido acumulando históricamente, no es difícil comprender la variedad de propuestas metodológicas que hoy día se le ofrecen al evaluador de programas. Sin embargo, al hablar de estrategias queremos incidir en un posicionamiento del evaluador que trasciende a la elección de técnicas y procedimientos concretos, ya sean de recolección de datos como de análisis, interpretación y presentación.
Retomando la introducción del artículo proponemos como primera decisión del evaluador la elección por el tipo de rol que debe jugar en cada caso, atendiendo al contexto político y social y a la demanda concreta que se le efectúa. Este planteamiento trata de romper con las propuestas metodológicas rígidas y generalistas que plantean la evaluación de programas como una secuencia ordenada de actividades a realizar, y que para cada autor son, obviamente, distintas. Una síntesis de estas propuestas se recogen en Alvira (199 l). El propio Alvira subraya el hecho de que estos distintos enfoques metodológicos pueden ser complementarios y no excluyentes, así como que se trata de propuestas de procedimiento y no de verdaderos modelos de evaluación.
La cuestión, sin embargo, queda bastante confusa para los que deseen iniciarse en las evaluaciones de programas. Si existen tantas propuestas para realizar evaluaciones ¿por cuál decidirse?. Y si efectivamente no son mutuamente excluyentes ¿qué aspectos pueden combinarse y hasta qué punto eso permite conservar una coherencia general en el diseño?
Quizás pueda ayudar a entender la necesidad de complementar procedimientos en evaluación la presentación de los diferentes tipos de rol que el evaluador puede desempeñar y que serían los que definirían el tipo de estrategia general a utilizar en el diseño y, por tanto, un criterio para ir tomando decisiones acerca del proceso y las técnicas a emplear. Estas estrategias tendrían en cuenta de manera especial el contexto en que se desarrolla la evaluación y cuya importancia ha sido puesta de manifiesto por casi todos los autores. Un ejemplo de ello es la necesidad de que el evaluador tenga en cuenta que debe hacer frente a un contexto «inhóspito» (como dijera Weiss, 1972), donde existen diversas tensiones (ideología, intereses, informaciones), diversas partes interesadas (stakeholders), y donde es frecuente encontrar los que Scriven (1991) denomina «valorofobia» («temor irracional a la valoración que se manifiesta en una fuerte y excesiva aversión -y oposición- a la evaluación,, pág 375) o, de un modo más suave, «ansiedad ante la valoración». Efectivamente, los evaluadores conocen bien las dificultades de vencer las resistencias y las suspicacias de las diferentes partes implicadas en una evaluación (clientes, profesionales, responsables, etc). Del mismo modo Wolsfenberger en su manual de aplicación del PASS-3 (Programa de Análisis de Sistemas de Servicios, Wolsfenberger y Glenn, 1982), ya advierte que muchos responsables de programas están de acuerdo en que deben realizarse valoraciones, si bien -suele añadir- no creen que el suyo sea el más conveniente para ello.
Ante esta complejidad, el evaluador debe ser consciente de que existen una serie de roles que se pueden asumir en el proceso de una valoración (no necesariamente uno sólo), y que es importante hacerlo mediante una toma de decisiones inicial, en el momento que se recibe la demanda y se empiezan a recoger las primeras informaciones. También es cierto que, en ocasiones, el rol viene impuesto por la demanda que se nos hace y que no siempre es posible negociarla como se verá. Precisamente este olvido de las diferentes posiciones que puede adoptar un evaluador es lo que hace inservibles muchas metodologías «a priori». Revisaremos brevemente algunos roles del evaluador.
1. Investigador: los primeros acercamientos metodológicos, en los años sesenta, estaban fundamentalmente dirigidos a realizar un trabajo marcado por el rigor científico y adoptando para la evaluación el mismo diseño que si se tratara de una investigación científica. Podríamos decir que en este caso el evaluador adopta el rol de un investigador y así se podría resumir el enfoque de Suchman o Campbell, quienes estaban interesados en establecer inferencias causales en las relaciones programa-resultados. Para ellos el juicio valorativo era asunto del contexto político y de gestión, de modo que el evaluador debería asumir la tarea de presentar un estudio riguroso y fiable, mientras que los gestores se encargarían de introducir los criterios que permitieran decidir la calidad del programa. Estos autores no contemplaban tampoco la necesidad de esforzarse por la diseminación (dar a conocer los resultados a otros profesionales, gestores o público) y generalización (validez que pudieran tener las conclusiones para otros programas similares) de los resultados.
En cierto modo, desde este rol de investigador, se extrae el objeto de valoración (sea un programa, un proyecto, una intervención, o lo que genéricamente ha bautizado Scriven como «el evaluando») de su contexto natural y no se tienen en cuenta las especiales características del mismo (ideología, intereses, proceso de toma de decisiones, etc). Se otorga preferencia al uso de una metodología experimental (la única que permitiría hablar propiamente de causas y efectos entre el programa y los resultados) y suele centrar su atención en un pequeño conjunto de variables que puedan ser adecuadamente controladas. El rigor metodológico y sus aportaciones de diseño son una herencia valiosa en la actualidad, como se refleja en dos recientes publicaciones que tratan con algún detenimiento los tipos de diseños en valoración de programas (Alvira, 1991; Fernández-Ballesteros, 1992). Sin duda en muchas demandas de evaluación se deberá sopesar la posibilidad de adoptar esta estrategia, especialmente cuando se pretenda establecer una conexión causal entre las actividades desarrolladas por un programa y los resultados obtenidos, o en algunos casos de programas en fases de «prototipo», esto es, en fases de experiencia piloto donde el control de las condiciones de realización permite desarrollar con facilidad diseños experimentales.
2. Juez. Sin duda, una de las finalidades esenciales de una evaluación es la de establecer un juicio acerca de la calidad, mérito o valor de un programa. La forma en que se establece este juicio, las responsabilidad de realizarlo o los criterios para determinar lo que es de calidad o no, son grandes tópicos de discusión en evaluación. Cuando se propone el rol del juez, se está dando prioridad, por las características del contexto en que se formula la demanda, al establecimiento de un juicio concreto sobre la calidad del programa. Este asunto puede servirnos para comentar la desviación del término evaluación que se está produciendo en algunas ocasiones cuando se presentan como evaluaciones de programas trabajos que simplemente describen un conjunto de datos sobre el proceso o resultados del mismo pero sin inferir ningún juicio de calidad ni orientación para la mejora del programa. La evaluación requiere de un proceso de investigación riguroso que trasciende a una mera exposición descriptiva de datos, bien por su diseño experimental, bien por la introducción de criterios de calidad para establecer juicios.
Cuando hablamos del rol de juez estamos tratando de responder a una demanda que busca sobre todo un juicio sumativo de calidad con respecto al programa. Es el rol que ejemplifica la metodología de Scriven, que ya se comentó, y que se basa en la valoración «libre de metas» (goal-free), bajo criterios que sobrepasan los objetivos del programa y realiza valoraciones basadas en el «interés público», la calidad del producto frente a otras alternativas, o estándares prefijados. Para llevar esta tarea a cabo es necesario, según el enfoque de Scriven, tomar distancia con respecto a los responsables y gestores del programa de tal modo que el evaluador intenta conservar una posición que le permita ser objetivo y neutral, El término «libre de metas» quiere indicar precisamente la necesidad de que el evaluador no se deje guiar por los objetivos establecidos en el programa (lo cual le llevaría a sesgar sus juicios en la dirección que el programa ha elegido). En cambio, el evaluador debe tomar el programa como un producto que debe ser analizado en todos sus posibles efectos (preestablecidos o no) y en comparación con otros programas parecidos de forma que sea posible establecer un juicio de calidad. El evaluador se muestra distante de los responsables y partes interesadas del programa para evitar sesgos y su evaluación es transversal en el sentido de que realiza una medición en un momento de tiempo determinado y mediante ella elabora un juicio de calidad. Cuando el propio Scriven estableció la diferencia entre evaluaciones formativas y sumativas, resaltaba la importancia de estas últimas, dirigidas a establecer juicios, por encima de las primeras, destinadas a corregir el programa. La estrategia, en este caso, se basa en la recogida de datos mediante un enfoque objetivo, aislado de los sesgos de las partes intervinientes, y en la búsqueda de criterios generales que permitan enjuiciar el mérito del programa.
3. Asesor técnico: En el lado opuesto se situaría el evaluador que se incorpora al programa en los niveles de administración o gestión y que tiene margen de maniobra para variar o hacer variar alguna de las fases del programa (por ejemplo, redefinir objetivos, o modificar la organización de los servicios). El ejemplo sería Wholey, con su enfoque de valoración «centrada en la gestión» del programa.
El planteamiento de este autor parte de una realidad que cualquier profesional de los servicios sociales podría constatar hoy en día, se trata del hecho de que la mayoría de los programas sociales no cumplen con solvencia los requerimientos de una cuidadosa serie de fases de intervención tales como la definición del problema, la evaluación inicial, la programación de objetivos, etc. Debido a la evidencia de que los programas suelen presentar importantes deficiencias en su diseño y, por tanto, resulta muy difícil elaborar valoraciones en su estado actual, este autor planteaba la previa «evaluación de la evaluabilidad» (un estudio previo del grado en que resultaría viable, pertinente y de interés, la evaluación del programa en sus condiciones actuales). Tal estudio previo podría resultar en la conclusión de que no sería rentable evaluar el programa, pero para este autor debería servir para recomendar una redefinición de aspectos del programa que lo hagan «valorable». Se debe tener en cuenta que los evaluadores pueden modificar o replantear prácticamente todas las fases del programa: evaluación inicial (mediante nueva definición del problema o nuevos datos sobre la población, lo que hace Rossi, por ejemplo, al hablar de reconceptualización); diseño y planificación (redefinición de objetivos, operacionalización del proceso de entrega de servicios, etc), ejecución (introduciendo una actividad de registro o monitorización, por ejemplo, un sistema de gestión de la información) y la propia valoración. En definitiva, el evaluador en este caso se implica con la gestión o el staff del programa y no sólo utiliza la valoración para tomar decisiones de modificación posteriores, sino que va realizando cambios con el fin de hacer posible la valoración.
En nuestra opinión, para muchos programas sociales que en la actualidad se están llevando a cabo, este rol del evaluador como «consejero» de la gestión sería altamente rentable ya que permitiría introducir correcciones a priori (tras el estudio de «evaluabilidad») que mejorarían el programa al tiempo que permitirían su posterior evaluación. Esta dialéctica de mejora y evaluación es la más apropiada para programas o contextos de intervención social que aún no han alcanzado la suficiente madurez como para ser sujetos de evaluaciones rigurosas.
4. Mediador: debido precisamente a los juegos de fuerzas en escena, existen una serie de autores que han propuesto que el rol del evaluador sea el de reunir los diferentes puntos de vista de todos los interesados y, en el marco de su concreta realización local, realizar un trabajo de construcción común del juicio valorativo. Esta propuesta parte, como ya se comentó, de Stake y es especialmente defendida en la actualidad por el enfoque de Guba y Lincoln (1989). Se basa en el estudio del caso local y la utilización preferente de medidas cualitativas, siendo el papel fundamental del evaluador el de mediar y coordinar la negociación que supone el consenso final de todos los interesados. Salvando las debidas distancias, se podría considerar la propuesta del «procedimiento judicial contrapuesto» de Wolf (1975) como un rol mediador también.
Esta postura mediadora parte de una fuerte crítica hacia las posturas que se basan en la investigación tradicional más positivista, donde lo importante resultaría el diseño experimental, las medidas cuantitativas y el descubrimiento de relaciones entre causas y efectos (programas y resultados). Para este enfoque el valor de un programa depende de las percepciones que las diferentes partes interesadas elaboran sobre el mismo, se niega la existencia de una realidad objetiva por descubrir y se propone la realidad como una construcción social en la que intervienen todos los interesados.
Siendo así, el papel de un evaluador no consiste en la investigación social, ni tampoco en la asimilación de una posición neutral que elabora su propio juicio, sino en una estrategia esencialmente participativa donde se impliquen todas las partes interesadas (gestores, profesionales, usuarios, familiares, comunidad, etc). Dados los intereses contrapuestos que suelen presentar estos colectivos se subraya la necesidad de un rol de mediador entre las diferentes perspectivas e intereses, de forma que las estrategias de mediación son muy importantes. La recogida de información se diseña con el especial interés de no olvidar a ningún componente esencial, posteriormente el objetivo fundamental es el alcance de consensos entre las diferentes partes sobre las características del programa. Dado el auge de los enfoques constructivistas en los actuales planteamientos epistemológicos de las ciencias sociales, este planteamiento goza en la actualidad de muchos partidarios. Independientemente de estos planteamientos metodológicos, parece necesario considerar este rol y este tipo de estrategias cuando se trata de evaluar programas en los que existen importantes tensiones entre las partes interesadas.
5. Educador: para muchos autores la desilusión de las primeras etapas, en lo que respecta a la escasa repercusión de las valoraciones en los programas, les llevó a pensar que el papel fundamental no es pretender cambios inmediatos (uso instrumental) sino más bien realizar una aportación educativa, mediante la descripción y análisis de las variables relevantes, las hipótesis subyacentes y los procesos relevantes de un programa (uso conceptual). Mediante el desarrollo de estudios valorativos, el campo de la intervención social iría adquiriendo un bagaje conceptual que repercutiría en una mejora de las planificaciones y diseños de programas de los responsables. Este punto de vista es esencialmente iniciado por Weiss, quien utilizó el término de «Ilustración» (enlightenment) para indicar este tipo de finalidad de la evaluación, y compartido por Rossi y Freeman (1982) que se refieren a esta faceta como «desmitificación». Del mismo modo Cronbach (influenciado por Weiss, como él mismo reconoce), también se preocupa especialmente de esta faceta educativa, indicando la necesidad de realizar informes adaptados al destinatario, que se emplee la comunicación informal y que sean ilustrativos (por ejemplo utilizando anécdotas o casos prácticos). La preocupación por realizar un trabajo educativo o ilustrador en el campo de la intervención social corre pareja a la de construir un campo de conocimiento para este ámbito y romper la tradicional imagen de proliferación de propuestas metodológicas con escasa vertebración teórica.
En realidad este es un rol que parece claramente complementario a alguno de los anteriores ya que incide más en el uso y forma de presentación de la información que en los procedimientos metodológicos que se utilicen. Sin embargo, teniendo en cuenta la finalidad de generar conocimiento sobre los procesos de las intervenciones, es decir, construir teoría de la intervención social, será muy difícil realizar esta tarea si la evaluación no se ajusta a lo que se considera una rigurosa investigación científica. Algunas estrategias como las de mediador o consejero de la gestión permiten una incidencia muy grande sobre el programa mejorando aspectos muy concretos del mismo. Sin embargo su capacidad para elaborar generalizaciones o recomendaciones para el amplio campo de la intervención social se ve mermado por su enfoque idiográfico. En cambio, enfoques más centrados en estrategias de investigación o enjuiciamiento objetivo permiten con mayor facilidad extraer inferencias de generalización que contribuyan a la construcción teórica. Quizás el fracaso inicial de modelos de rigurosa investigación como los de Campbell o Suchman haya sido debido a no complementar sus trabajos de rigurosa investigación experimental con una adecuada presentación de la información a los destinatarios y una adecuada estrategia diseminadora y educativa de la importancia de sus hallazgos para programas parecidos o colaterales.
6. Pseudoevaluador: En este caso tratamos de llamar la atención sobre una desviación de la valoración y no, obviamente, un rol que deba asumirse. Stufflebeam (Stufflebeam y Shinkfield, 1987) dividía los tipos de valoraciones en «pseudovaloraciones», «cuasivaloraciones» y «verdaderas valoraciones». La diferencia esencial descansa en el grado en que se ajusta a la definición inicial que este autor establece y que contempla la investigación sistemática y el juicio valorativo con fines de perfeccionamiento. Mientras que las verdaderas valoraciones integran todos los aspectos, las cuasivaloraciones fallan en la faceta de elaborar un juicio final orientador. Finalmente, y en lo que aquí nos interesa, no es infrecuente que el evaluador reciba una demanda que explícita o implícitamente pretende instrumentalizar los resultados con fines propagandísticos, de justificación de decisiones tomadas de antemano, o de ataque a una determinada intervención. Es fácil establecer una relación entre el que llamamos uso «persuasivo» de las valoraciones y este concepto. Sin embargo, deben diferenciarse claramente ya que el uso persuasivo es la utilización de una valoración (independientemente de la rigurosidad y honestidad con la que se ha realizado) con fines partidistas. Podríamos decir que nadie está libre de que su trabajo sea utilizado de este modo, como es el caso de algunas administraciones conservadoras (caso de la reciente administración del presidente Reagan) que utilizaron los resultados negativos de las evaluaciones de programas sociales, no para su mejora, sino para su eliminación. Sin embargo la pseudovaloración parte de una demanda sesgada, que anticipa el tipo de resultados que se admitirá como útil. Como ejemplos, Suchman (cit. en Stufflebeam y Shinkfield, 1987) afirmaba que los administradores podían hacer encargos que denominaba de «música celestial» (justificar un mal programa manipulando los informes para que presente una buena imagen), de «blanqueamiento» (ocultando los fallos del programa evitando los métodos objetivos) o incluso de «submarino» (destruir un programa sin tener en cuenta su valor real). Ni que decir tiene que en esta ocasión las consideraciones, aunque también son científicas, son de índole deontológica. La frecuencia con que puede ocurrir y la problemática que se desencadena cuando el encargo lo recibe un evaluador interno (un funcionario, por ejemplo) con estrecho margen de maniobra para rechazar o modificar la demanda, son peculiaridades del contexto político que hará bien en conocer el evaluador que pretende adentrarse en este ámbito.
Los roles aquí expuestos, como los modelos cuando se habla de evaluación o de otras cuestiones, son simplificaciones de la realidad. Sin embargo, creemos que pueden ser útiles por dos razones. En primer lugar porque debido a la ausencia de fundamentos teóricos en el campo de la intervención social (es un ámbito que apenas cuenta con unas décadas de historia y en nuestro país ha comenzado prácticamente con la transición democrática) sería pretencioso hablar de modelos de valoración y sería mejor hablar de estrategias o acercamientos metodológicos. Ahora bien, ¿qué es lo que caracteriza a cada uno de estos acercamientos metodológicos? A nuestro modo de ver la clave no está en las técnicas de evaluación, sino en los diferentes roles que se consideran relevantes para solventar con éxito la concreta demanda. Por eso los acercamientos concretos como la evaluación orientada a los objetivos de Tyler (ampliada por Metfessel y Michael, 1967), la valoración «libre de metas» de Scriven, la valoración orientada a decisiones (sistema CIPP de Stufflebeam, que se refiere a las iniciales de Contexto, Inputs, Proceso y Producto), la valoración «responsiva» de Stake, la valoración orientada a la administración de Wholey, y la valoración constructivista o de «cuarta generación» de Guba y Lincoln, suelen ser parcialmente exitosos debido a que resuelven con solvencia determinados tipos de demandas, pero son francamente insuficientes para otras. Dicho de otra manera, cada uno de estos enfoques se basa fundamentalmente en un rol determinado del evaluador. Pero la cuestión, como vieron adecuadamente otros autores como Cronbach y Rossi, es más compleja y se requiere un esfuerzo de integración (Rossi propone los términos de valoración integral y «a medida») que entre otras cosas implicará la elección de los roles necesarios, y de las actividades y técnicas que le son propias. Esta variedad de roles, y por tanto, de métodos y técnicas sería un requisito básico a nuestro juicio, ya que muchos de ellos son claramente complementarios.
Nos parece indudable que, debido al contexto político en que se mueven los programas sociales, el evaluador pasa a formar parte de la historia de un programa con un rol concreto. Muchas evaluaciones tienen su impacto sobre el programa, no por la calidad metodológica de la evaluación, sino por el rol asumido por el mismo, por el grado de implicación o cercanía con los interesados, por su interés en la presentación adecuada de los resultados, por las adecuadas instrucciones para la mejora del programa, etc. Este rol, proponemos, es preferible que sea explícito y asumido en una toma de decisiones inicial por parte del evaluador. Una vez elegido, las implicaciones acerca de las estrategias y técnicas de evaluación le resultarán más fáciles.
