EXPERIENCIA
INTRODUCCION
Algunos autores coinciden en la existencia de un gran foso entre la riqueza del discurso sobre la evaluación y la pobreza relativa en las prácticas de la misma.
Sería fácil atribuir dicho abismo al distanciamiento entre teóricos y prácticos de la formación, pero consideramos que teoría y práctica de la evaluación formativas han de estar estrechamente unidas.
Del significado de la evaluación en todas sus dimensiones, de su consideración como proceso y de la exigencia de planificación de la misma, arrancan suficientes elementos para mejorar la "práctica" de la evaluación.
Desde aquí intentamos aportar, a través de nuestra experiencia, algo de esa "práctica" que acabamos de mencionar, y que es tan escasa en las publicaciones sobre el tema.
La evaluación no puede limitarse a una ocasión única cuando termina un programa específico, ha de estar presente ya, cuando a partir del análisis de necesidades se establece la política de formación (planes y programas)así como sus objetivos, contenidos, actividades, recursos, etcétera.
Resumiendo las diferentes posturas sobre el tema, destacamos dos tipos de evaluación de la formación:
1. Evaluación técnica de los procesos y variables de formación, que es la que se realiza habitualmente y permite la mejora sistemática de los programas de formación y el perfeccionamiento de los factores que intervienen en los mismos, principalmente los diseñadores y profesores.
2. Evaluación de la rentabilidad de la formación, cuyo objetivo es verificar en qué medida la formación responde a su función e importancia estratégicas en cada empresa concreta y cómo contribuye a la consecución de los objetivos de la organización.
Esta evaluación económica de la formación tiene 3 componentes:
a) La determinación de los costes de formación (inversiones y gastos).
b) La consideración, en términos económicos, de los resultados de la formación, como aportación de productos o servicios intermedios a los objetivos más amplios de la empresa.
c) La relación entre ambos valores, con el objeto de determinar el ratio coste/beneficio que indique el retorno de la inversión o la rentabilidad económica.
La primera consideración a hacer en una evaluación económica de la formación consiste en verificar si se comporta como una estrategia orientada a la consecución de los objetivos de la empresa, y en qué medida contribuye a ellos.
Es posible encontrar magníficos programas de formación desconectados de los objetivos de la empresa, y por tanto inútiles desde nuestro punto de vista.
Centrando ahora la atención en nuestra experiencia más cercana, vamos a intentar dar respuesta a dos cuestiones, que siempre nos planteamos las personas interesadas en evaluar la formación:
1. ¿Qué es lo que podemos evaluar dentro de los programas de formación?
2. ¿Cómo se evalúa la formación en nuestro país?
Respondiendo a la primera cuestión, es claro y evidente que podemos evaluar: competencias profesionales o personales y resultados empresariales.
Competencias profesionales o personales: se trata de los resultados inmediatos de los programas, que se concretan en los cambios producidos en los participantes (habilidades, actitudes, conocimientos) tras el proceso de aprendizaje. En la empresa, la formación está orientada a incrementar las competencias personales o profesionales que posteriormente podrán ser utilizadas en el desempeño de las tareas y en el ejercicio de las responsabilidades por los empleados, en su puesto actual de trabajo o futuro. Su evaluación es relativamente fácil.
Resultados empresariales: los resultados empresariales de la formación se concretan en el impacto y repercusión efectivos que las competencias adquiridas tienen sobre el trabajo y los procesos, sobre el rendimiento de la unidad o área de actividad, sobre los servicios y productos de la empresa, sobre el desarrollo profesional de las personas o sobre el valor de la propia empresa. Este impacto se realiza mediante la transferencia o aplicación de lo aprendido al comportamiento y actividad profesional.
Frecuentemente es difícil apreciar si determinados hechos son debidos o no a la formación.
Podemos tomar como referencia el "antes y después" de la formación, intentando comparar qué actuaciones se producen ahora que antes no se daban.
También podemos comparar grupos semejantes de "formados y no formados" en un determinado programa.
O establecer una relación entre los resultados obtenidos y los esperados, así como buscar "resultados identificables" como directamente derivados de los programas formativos.
Lo importante es que mediante algunas de las referencias antes mencionadas, pueda verificarse que tras la formación, se han producido los resultados esperados de ella.
En cuanto a la segunda cuestión planteada, ¿cómo se evalúa actualmente la formación en nuestro país?, podemos decir que:
a) Los aspectos de la formación evaluados con más frecuencia, son los más fácilmente medibles de manera objetiva (consecución de objetivos, reacción de los participantes hacia la formación....) (Evaluación de Reacción).
b) Los aspectos que son difíciles de medir de una manera objetiva, son evaluados con menos frecuencia que los anteriores (transferencia del aprendizaje al trabajo .... ) (Evaluación de Aprendizaje).
c) Los aspectos muy complejos, casi nunca son evaluados. Tal es el caso de la relación coste/beneficio de la formación y de los efectos de la formación sobre la organización (Evaluación de Impacto).
Las empresas evalúan su formación principalmente una vez terminada (evaluación de Reacción).
Los instrumentos de valoración más Utilizados son los cuestionarios, seguidos de cerca por los tests, exámenes, observaciones, entrevistas y discusiones en grupo.
Raramente se evalúa el coste/efectividad de la formación, descuidándose así un aspecto decisivo para el éxito de la función formativa
En Caja de Madrid iniciamos, en enero del presente año, un ambicioso proyecto de evaluación de la formación en el que contemplamos, no solamente la Evaluación de Reacción sino también de las de Aplicación e Impacto.
En el proyecto antes mencionado, hemos dedicado nuestro esfuerzo durante 1993 a perfeccionar el sistema de Evaluación de Reacción, estando previsto para 1994 como reto fundamental, ampliar y mejorar la Evaluación de Aplicación y comenzar a sistematizar la Evaluación de Impacto, lo que nos creará serias dificultades, dada su complejidad.
Tradicionalmente en esta empresa, hacemos Evaluación de Reacción (partiendo de las premisas que exponemos a continuación), y Evaluación de Aplicación (sólo en determinados colectivos como el Proyecto de Segmentación o la Formación para empleados de Nueva Entrada).
Para comenzar, haremos en primer lugar una declaración de principios de lo que para nosotros es la evaluación:
La evaluación es un proceso del que necesariamente se deriva una toma de decisiones, y que tiene las siguientes características: ha de ser útil, creíble, técnicamente precisa, económicamente ajustada y confidencial.
Tomando como referencia la frase "No se puede evaluar todo en todo momento y utilizando los métodos más sofisticados, ya que no se puede incurrir en unos costes excesivos de evaluación" (Le Boterf, 1991), pasamos a exponer el qué, cómo, cuándo y con qué de la evaluación de la formación en Caja de Madrid.
¿Qué evaluamos?: cursos en los que la novedad del programa o de los ponentes así lo aconsejen; cursos, en los que a través de la entrevista informal, se detecte algún problema; esporádicamente, cursos ya rodados, para comprobar su buen funcionamiento.
¿Cómo evaluamos?: a través de entrevista informal; por medio de encuestas y mediante entrevistas estructuradas.
¿Cuándo evaluamos?: durante el curso, para mejorar sobre la marcha; al finalizar el curso o módulo (en cursos de larga duración); un tiempo después de la formación y anualmente.
1.- Cuestionario a medida para cada acción formativa que evaluamos.
Hemos diseñado una nueva encuesta tipo Lickert, cuyos ítems discriminan más eficazmente, y que consta de tres partes:
a) Cuestionario General, con 14 ítems fijos y 6 variables (que evalúa, programas, contenidos, documentación y logística).
b) Cuestionario de Ponentes (evalúa la competencia docente a través de 5 ítems fijos y dos variables).
c) Comentarios y sugerencias.
2.- Confidencialidad cuidada con esmero de la forma siguiente:
a) Los alumnos encuentran la encuesta en su mesa de trabajo a la mañana siguiente de terminar la formación. Contestan a vuelta de correo de forma totalmente anónima.
b) En el caso de personas de Nueva Entrada, que aún no tienen destino designado, se entregan encuestas en clase indicando que una vez cumplimentadas las depositen en los buzones del Centro de Formación o las envíen por correo interno desde su puesto de trabajo.
3.- Valores estadísticos
Obtenemos puntuaciones medias, desviaciones t icas, frecuencia de los ítems de la escala (puntuaciones directas), frecuencia en porcentaje de los mismos, y abstenciones registradas (en puntuaciones directas y porcentajes) (Anexo l).
4.- Representación gráfica
Mediante un diagrama de barras, expresamos los resultados del Cuestionario de Ponentes y Cuestionario General (Anexos; 2,3).
5.- Estimaciones comparativas
Una instrucción permite comparar resultados entre ponentes de una convocatoria, ponentes que han impartido la misma asignatura a lo largo del curso académico, resultados de un mismo ponente en diferentes acciones formativas, etc. Asimismo permite comparar el desarrollo de un mismo programa en diferentes convocatorias.
6.- Globalización
Mensualmente, hacemos un cómputo de los resultados obtenidos en aquellos parámetros que más interesan al área de Formación, como son los referentes a Programas y a Logística.
7.- Transmisión de información
Sistemáticamente se envían resultados a los ponentes y directores de cursos, con el fin de que tengan un feed-back que les sea útil en próximas actuaciones. Como dice Le Boterf (1993) "las informaciones provenientes de diversas mediciones efectuadas, tienen que ser restituidas, en la medida de lo posible, a los actores del sistema de formación para permitirles conocer mejor las consecuencias de sus actos. Es esencial que estos datos les ayuden a reforzar su responsabilidad y no sean percibidos como manifestaciones de un control"
8.- Búsqueda personalizada
A través del nombre de un ponente, de una asignatura o de un curso, podemos obtener datos de un intervalo temporal (Ej.: del 10-02-93 al 30-11-93) yla dentro de unos límites de puntuación (Ej. : ponentes cuya puntuación media esté entre 4 y 5).
Durante 1993 hemos evaluado el 80% de las acciones formativas, con un envío de 6.900 encuestas de las que hemos recibido el 72,4%, lo que consideramos un éxito dado el sistema que utilizamos.
Una vez procesadas individualmente y analizadas, estas encuestas han sido el referente para poner en marcha las oportunas acciones de mejora, en caso de ser necesario.
Dado que el plazo de respuesta de los alumnos oscila entre 48 y 72 horas, podemos decir que hemos conseguido un sistema Rápido, Válido y Fiable para la Evaluación de Reacción.
Todo lo expuesto anteriormente se lleva a cabo a través de una aplicación informática que se ha venido desarrollando conjuntamente entre el Departamento de Informática y el Area de Formación de Caja de Madrid.
Un tiempo después de finalizada la formación (3-6 meses) enviamos a los asistentes antes mencionados (Empleados de nueva entrada, Especialistas en Segmentos de clientes) y a su jefe inmediato, una encuesta solicitando datos sobre la aplicabilidad de los conocimientos adquiridos al puesto de trabajo.
Estos dos tipos de encuesta son enviados por separado. Si existe una importante disonancia entre las respuestas jefe/ empleado, entonces acudimos a la técnica de entrevista.
Como hemos expuesto anteriormente, en éste año de 1994 abordaremos en profundidad la Evaluación de Aplicación, y comenzaremos a realizar, dentro de las posibilidades que tiene una Entidad Financiera como la nuestra, la Evaluación de Impacto.
