DEBATE
La complejidad del proceso de evaluación de programas. La implicación de los técnicos y los políticos
Fernando CHACON FUERTES
I. LA EVALUACION ENFOCADA A LA TOMA DE DECISIONES
II. ALGUNOS ASPECTOS COMPLEJOS DE LA EVALUACION
III. LOS VALORES Y LA EVALUACION
IV. EL PAPEL DE LOS DIFERENTES ACTORES SOCIALES EN LA EVALUACION
La evaluación de programas sociales es un proceso complicado orientado a la toma de decisiones, y que está inmerso en una actividad planificadora más amplia la complejidad de los procesos evaluativos se deriva entre otros factores de: la diversidad de modelos evaluativos existentes, la amplitud de los aspectos evaluables de un programa, la dificultad del proceso de toma de decisiones, etc., pero, especialmente, porque supone valores y, por tanto, siempre implica cierto grado de subjetividad, y porque en ella están comprometidas una serie de actores sociales (políticas, técnicos gestores de programas, técnicos evaluadores, comunidad) con perspectivas diversas que es preciso conjugar. En este articulo, se analiza la función de estos actores en la evaluación haciendo especial hincapié en el papel de los técnicos. Se defiende que los evaluadores, para superar las dificultades descritas, deben mantener una actitud flexible en cuanto al modelo de evaluación a utilizar y pluralista en cuanto a la metodología evaluativa.
Evaluación. Programas sociales.
The evaluation of social program is an complicated process, directed at decision taking, and this process is in a part of a larger planning activity. The complexity of the evaluative process is caused by, among others factors: the diversity of existing evaluative models, the numerous evaluable aspects of a program, the dificulty of the process of decision taking, etc., but mainly, because the evaluation is determined by values and therefore always involves a certain degree of subjectivity, and in the evaluation a series of social actors participated (politicians, technicians, evaluators and members of the community,programa managers). With differente perspectives that are necessary to joint. In this article, teh function of this actors in the evaluation is analiysed, mainly in the technicions rol. The evaluators, to overcome the above difficulties, must mantain a flexible and pluralistic attitude regarding the evaluation model and methodology.
Evaluation. Social programs.
I. LA EVALUACION ENFOCADA A LA TOMA DE DECISIONES
Numerosos autores coinciden en afirmar que uno de los objetivos fundamentales, si no el principal , de la evaluación de programas sociales, es la toma de decisiones.
Así, según Espinoza Vergara (1983), la evaluación tendría dos objetivos principales:
- Facilitar el proceso de toma de decisiones.
Alkin (1972) define la evaluación de programas como el proceso de verificar las áreas de decisión, seleccionando para ello la información apropiada, recopilándola y analizándola, con el objeto de comunicar un resumen de datos que ayude a los encargados de tomar decisiones o escoger entre las alternativas (Medina, 1988, pág. 91).
Por último, Weiss (1975) afirma: "el objetivo de la evaluación es medir los efectos de un programa por comparación con las metas que se propuso alcanzar, a fin de contribuir a la toma de decisiones subsiguientes acerca del programa y para mejorar la programación futura".
La toma de decisiones se refiere a aspectos como:
- El incremento o disminución de su dotación presupuestarla.
- Los elementos del programa a modificar.
- La generalización del programa a otras situaciones.
- La modificación de estrategias de implantación.
- La aceptación o rechazo de un modelo o teoría del programa en ejecución.
- Etcétera
Pero, aunque parece haber acuerdo en la relación entre la evaluación y la toma de decisiones, no está tan claro el papel que debe jugar la información obtenida a través de la evaluación.
La perspectiva positivista tradicional defiende que, a través de la evaluación, se puede llegar a decisiones sobre la terminación o continuación de un programa. Sin embargo, progresivamente se fue reconociendo que el papel de la evaluación era el mejoramiento de los programas (evaluación formativa). Según Palombo y Nachmías (1983), incluso algunos autores como Wildavsky (1979), mantienen que la investigación evaluativa, es una fuente de información para las decisiones políticas, pero no necesariamente la única ni la mejor.
En esta línea, Brendl (1978) señalaba que los políticos consideran a los evaluadores como un grupo de presión más que defienden sus valores.
II. ALGUNOS ASPECTOS COMPLEJOS DE LA EVALUACION
Este proceso decisorio, complejo por sí mismo, puede ver agudizada esta característica por las importantes consecuencias sociales de los programas a evaluar, y las tensiones que ello implica. Como escribía Campbell (1984): "es mucho más difícil ser científico cuando importantes decisiones con implicaciones políticas y económicas descansan en los resultados de aplicar los frágiles instrumentos de evaluación de las ciencias sociales".
Pero la relevancia social es sólo uno de los factores, aunque importante, de los que determinan la dificultad del proceso evaluativo, entre ellos podemos destacar los siguientes:
- La evaluación no es una actividad aislada, sino que debe estar inmersa en un proceso de investigación-acción planificadora, que incluye al menos las siguientes fases:
• Evaluación de necesidades. • Planificación.
• Programación.
• Implantación. . Evaluación.
En este amplio proceso inciden una infinidad de variables y actores que dificultan la evaluación.
- La evaluación no es una actividad puntual, es un proceso, que constituye una dimensión del propio programa. Esta característica es puesta de manifiesto en la definición de evaluación de la ONU (1984): "es el proceso encaminado a determinar, sistemática y objetivamente, la pertenencia, eficiencia, eficacia e impacto de todas las actividades a la luz de sus objetivos. Se trata de un proceso organizativo para mejorar las actividades todavía en marcha y ayudar a la Administración en la planificación, programación y toma de decisiones futuras" .
Este carácter diacrónico y continuo, introduce elementos que hacen mas compleja la tarea del evaluador, ya que, según esta perspectiva, no basta evaluar los resultados del programa, sino todo el proceso de desarrollo del mismo, incluyendo (Ander-Egg, 1983):
- Evaluación de la fase de diagnóstico o de evaluación de necesidades.
- Evaluación del diseño (evaluación de proyectos).
- Evaluación de la implantación:
- Evaluación del establecimiento del programa.
- Evaluación de la fase de ejecución:
- Evaluación del perfil estructural y funcional de la organización.
- Evaluación de resultados.
- Evaluación del impacto social y efectos indirectos.
- Evaluación de la coordinación externa.
- Evaluación de la satisfacción de los usuarios.
Una simple revisión de estos aspectos evaluables, nos permite hacernos una idea del coste de tiempo y recursos que supone una evaluación óptima, y la complejidad del sistema de información necesario para aportar los datos para la misma.
- La inexistencia de un modelo único de evaluación de programas es otro de los factores que dificultan el proceso de evaluación. Existen numerosos modelos alternativos, como escribían Palombo y Nachmías (1984):
"El campo de la investigación evaluativa está en una crisis de identidad. Desde su etapa inicial cuando los 60 estaban dominados por un único paradigma y los investigadores creían que su potencial era ilimitado, se ha producido una metamorfosis. En lugar de un paradigma dominante, han surgido varios enfoques alternativos y el escepticismo sobre sus posibles contribuciones ha ido en aumento. House (1980:11), p.e., mantiene que <<la actual escena de la evaluación está marcada por la vitalidad y el desorden. La dimensión, ubicuidad y diversidad de las actividades evaluativa hacen difícil su comprensión, incluso para aquellos que trabajan en el campo>> ".
Incluso autores como Scriven, que encuentran en esta enorme diversidad aspectos positivos, reconocen que es una señal de los importantes problemas metodológicos con los que se encuentra la evaluación.
III. LOS VALORES Y LA EVALUACION
Podríamos seguir relacionando elementos que determinan la complejidad del proceso evaluativo, y la toma de decisiones que conlleva, pero en el resto del articulo nos centraremos en dos de ellos, interrelacionados entre sí:
2. La pluralidad de actores sociales involucrados en la misma.
Toda evaluación comporta valoraciones, juicios de valor y, por tanto, un importante grado de subjetividad. Estamos lejos de la ingenua época, mencionada anteriormente, en la que dominaba un único modelo de evaluación, que era considerado como "objetivo".
Los valores determinan el modelo evaluativo elegido, la metodología utilizada, los indicadores seleccionados, las expectativas o normas con lo que se comparan los resultados obtenidos, etc., incluso las preguntas iniciales a las que la evaluación intenta dar respuesta.
Lógicamente, el reconocimiento del papel que juegan los valores en la evaluación significa, al mismo tiempo, aceptar cierto relativismo: un mismo programa con resultados idénticos puede ser valorado de manera diferente según la metodología elegida, el modo de seleccionar los criterios de comparación, el momento histórico en el que se realiza la evaluación, etc.
Pero este relativismo no debe convertirse en escepticismo, para evitar caer en esta tentación se han propuesto diversas estrategias para, una vez rechazada la utopía de la objetividad, incrementar el consenso intersubjetivo sobre las conclusiones de las investigaciones evaluativas.
Así, McKillip (1987) plantea que el verdadero problema no reside en la existencia de los valores, sino en que estos están implícitos. Cuando los valores que sustentan la evaluación se explicitan y se hacen públicos, pueden ser sometidos a críticas y contrastados y posteriormente revisados, posibilita una evaluación más correcta. De acuerdo con este principio y en el marco de la evaluación de necesidades, McKillip propone un método para implicar a los usuarios de la evaluación en todo el proceso, hacer explícitos sus valores e integrarlos junto con la información recogida mediante los métodos de evaluación en el proceso de adopción de decisiones.
Por otra parte, descartada la existencia de un método de evaluación ideal, se ha propuesto utilizar siempre una variedad de métodos y no un método único. El factor principal en esta estrategia es combinar los métodos elegidos de forma que se basen en fuentes de información diferentes y, así aportar perspectivas distintas. En este sentido se manifestaba Bernard Simonin (1990): "Un objeto de evaluación (una medida, un programa) no se corresponde unívocamente con un método... que aparece como absolutamente superior a los demás. Por otra parte, no es posible aplicar todos los métodos, y así la elección de los métodos es fundamental para llegar a una evaluación de calidad...
Más bien, se trata de concebir la evaluación como una práctica pluralista, intentando estimular diversos tipos de métodos, ya que la selección de dichos métodos viene determinada, tanto por las características de la acción evaluable, por su contexto, por los objetivos prioritarios de la evaluación, así como por la naturaleza de las formas de coordinación social que prevalecen entre los destinatarios de la evaluación".
Parece existir un acuerdo sobre la utilidad de emplear varios métodos, sin embargo, esta estrategia aporta una información más compleja a la/s persona/s encargada/s de tomar decisiones, y como han demostrado Kahneman, Slovic y Tversky 1982) la posibilidad de introducir sesgos en nuestros juicios es mayor cuando nos enfrentamos con información multidimensional compleja; estos sesgos intentan simplificar el problema de la decisión, la adoptan según los valores propios.
Para poder superar esta aparente paradoja (necesidad de utilizar diversos métodos para contrabalancear los efectos de los valores-incremento de la probabilidad de introducir sesgos en la toma de decisiones cuando la información es compleja). McKillip (1987) propone dos métodos:
1. Descomponer la decisión global en sus distintos componentes, es decir, en una serie de decisiones parciales, más simples donde la posibilidad de introducir sesgos es menor.
2. Integrar la información procedente de los distintos métodos empleados en una única dimensión de forma que se simplifique el análisis.
Sobre el papel de los valores, se plantea una pregunta fundamental: ¿Qué valores deben ser considerados en el análisis evaluativo?, y la contestación a esta cuestión nos lleva directamente al tema fundamental de este artículo de debate: la pluralidad de los actores sociales en los programas y su papel en la evaluación.
IV. EL PAPEL DE LOS DIFERENTES ACTORES SOCIALES EN LA EVALUACION
En la realización de programas sociales conviven una pluralidad de actores sociales, entre los que podemos citar
Como es evidente, los técnicos gestores de programas y los evaluadores pueden coincidir (autoevaluación) o no (evaluación externa), del mismo modo los usuarios del programa pueden ser una muestra representativa de la comunidad o no.
Una evaluación ideal debería tener en cuenta las diferentes perspectivas de todos los grupos, pero con frecuencia aparecen conflictos de roles sobre el papel que cada uno de ellos debe jugar en la evaluación en especial entre la función de los técnicos y los políticos.
De hecho, para al nos autores como Rein y White (19781 la difícil relación entre los políticos y los científicos sociales es un problema básico de la política social, por cuanto esos grupos no comportan valores, perspectivas, ni el lenguaje que utilizan.
Cohen y Franco, dedican un capítulo de su libro "Evaluación de Proyectos Sociales" (1988) a este importante tema, y en este apartado expondremos su línea argumental, con la que nos identificamos.
Los políticos se mueven fundamentalmente en el ámbito de la planificación y evaluación estratégica, son los responsables de determinar los fines de los programas sociales, los problemas y necesidades que deben priorizarse, y son los encargados de la toma de decisiones basadas en los datos aportados por la evaluación, como afirma Medina y Echevarría (1972): La declaración de fines y metas, la formulación de la imagen ideal de la sociedad pretendida pertenecen en todos los regímenes políticos conocidos a quienes detentan el poder, no importa cuáles sean sus bases y su organización".
Como hemos dicho, esta función política es evidente en la evaluación estratégica y normativa, sin embargo, conforme descendemos en el nivel planificador, este papel se va difuminando. Así, la determinación de los objetivos generales conforme a las metas fijadas por los políticos y la toma de decisiones a nivel de evaluación táctica puede corresponder a técnicos de confianza de los responsables políticos: y si seguimos descendiendo a nivel de la planificación y evaluación operativa, estas funciones pueden pasar a los técnicos gestores de programas. En otras palabras aunque el papel de usuario de la evaluación del programa le corresponde principalmente a los políticos, esta función puede trasladarse a los técnicos en los niveles de planificación más bajo, donde la repercusión de las decisiones a adoptar es mucho menor.
Si la función de los políticos es la adopción de decisiones, el papel de los técnicos se encuentra ligado al pensamiento científico, y su actividad fundamental es la de asesoramiento.
Asesoramiento no sólo sobre la elección del modelo y la metodología de la evaluación, sino sobre su implantación y los procesos lógicos de toma de decisiones.
En este sentido, el técnico "no es más que un experto que ofrece modelos o elabora estrategias" (Medina y Echevarría, 1972, pág. 173), él construye el plan y diseña la evaluación, pero no fija las metas a alcanzar aunque pueda sugerirlos de forma condicional como alternativas posibles.
Estas dos perspectivas son complementarias, pero también pueden ser conflictivas en determinadas circunstancias. Según Cohen y Franco (1988) la dificultad empieza a la hora de fijar donde termina el ámbito de actuación de uno y comienza el del otro. Esta ambigüedad en los límites, lleva a que se niegue, en ocasiones, la necesidad de respetar la existencia de uno y de otro.
Es preciso, pues, reconocer la necesidad de las perspectivas y establecer algunos criterios que permitan delimitar los ámbitos de unos y de otros.
Como punto de partida podemos tomar la expresión de Arida (1987): "las decisiones últimas de la sociedad son de carácter político, pero la preparación de cualquier decisión tiene que ser técnica".
El problema consiste en determinar a priori el punto a partir del cual las decisiones son políticas. No existen normas fijas a este respecto, aunque Cohen y Franco (1968) recomiendan estirar al máximo la esfera técnica de decisión.
Dentro de estos contextos y con un propósito meramente de ejemplo, podemos señalar las siguientes actividades evaluadoras como propias de los técnicos, entre otras:
Este análisis de actuación se amplía, como hemos mencionado anteriormente, cuando nos movemos a nivel de evaluación táctica u operativa; pero, en todo caso, siempre debe incluir el diseño de estrategias destinadas a vencer las posibles resistencias del sistema y, en especial, de los profesionales a la evaluación, ya que como señala Medina (1988): "La evaluación no sólo describe sino que también crea dinámicas e interacciones conflictivas" (pág. 103). Este mismo autor sugiere diversos procedimientos para minimizar estos conflictos:
No quisiera concluir sin indicar una responsabilidad de todos, políticos, evaluadores y responsables de programas, y que puede resumir el presente artículo, extender en todo el campo de la intervención social una actitud flexible, al admitir una diversidad de valores, y pluralista, al aconsejar los diversos multimedios.
