¿Influye la Retroalimentación Correctiva en el Uso de la Retroalimentación Elaborada en un Entorno Digital?

Introducción

La retroalimentación formativa es un procedimiento instruccional consistente en ofrecer información sobre el rendimiento de los estudiantes para mejorar su aprendizaje (Narciss et al., 2014; Shute, 2008). El diseño de entornos digitales de aprendizaje permite proporcionar retroalimentación formativa en tiempo real. Sin embargo, hay muy poca investigación sobre el uso que los estudiantes hacen de esta información. Un problema añadido es la variabilidad de tipos de retroalimentación existente. Siguiendo a Narciss (2013) y Shute (2008) podemos diferenciar entre retroalimentación de verificación (Knowledge of Response o KR), de respuesta correcta (Knowledge of Correct Response o KCR) y retroalimentación elaborada (Elaborated Feedback o EF). La retroalimentación KR incluye exclusivamente información de verificación de respuestas (correcto o incorrecto), mientras que la retroalimentación KCR incluye además la respuesta correcta (la alternativa X es la solución correcta) y la retroalimentación EF incluye información adicional como, por ejemplo, explicaciones sobre la respuesta. Aunque EF es el tipo de retroalimentación más efectivo en entornos digitales (van der Kleij, Feskens y Eggen, 2015), sus efectos no son automáticos, sino que los aprendices deben decidir procesar activamente su información (Bangert-Drowns, Kulik, Kulik y Morgan, 1991). EF suele proporcionarse junto a retroalimentación KR o KCR, aunque no siempre es así (p. ej., se pueden dar explicaciones o pistas sobre por qué una respuesta es correcta o incorrecta, sin mencionar explícitamente la respuesta correcta). Por tanto, cabe preguntarse en qué medida la retroalimentación KR y KCR afecta a la decisión de acceder voluntariamente a EF. Este es el principal objetivo del presente estudio. De forma complementaria, este estudio también examina el efecto de estos tipos de retroalimentación en el aprendizaje de conocimientos conceptuales en el área de física.

Habitualmente los profesores asignan a sus alumnos tareas en las que han de responder preguntas sobre los contenidos de uno o varios textos (Ness, 2011). La razón es que estas tareas inducen procesos de comprensión que facilitan el aprendizaje (Anmarkrud, McCrudden, Bråten y Strømsø, 2013; Cerdán, Gilabert y Vidal-Abarca, 2011; Roelle y Berthold, 2017). Además de estos procesos cognitivos de comprensión (p. ej., hacer inferencias), responder preguntas de un texto también implica activar procesos metacognitivos propios de la resolución de problemas (p. ej., búsqueda de información en los materiales o evaluación de la relevancia de la información encontrada) (Rouet, Britt y Durik, 2017). Un estudiante competente posee habilidades cognitivas y metacognitivas para poner en marcha esas operaciones cognitivas de comprensión, búsqueda de información y monitorización de información relevante que le conducirá a completar con éxito la tarea de responder preguntas y a aprender los conceptos o ideas requeridos (Vidal-Abarca, Mañá y Gil, 2010). Sin embargo, muchos estudiantes de Educación Secundaria suelen experimentar dificultades en este tipo de tareas (OCDE, 2006 y 2010). Esa puede ser una de las razones de que los profesores proporcionen retroalimentación sobre las respuestas de sus alumnos (Ness, 2011). Seguramente asumen que la retroalimentación puede ayudar a superar las dificultades de comprensión y aprendizaje de conocimientos de ciencias de sus estudiantes. Este procedimiento instruccional, i.e., leer textos y responder a preguntas, se adapta perfectamente a los entornos digitales de aprendizaje, en los que una retroalimentación inmediata puede jugar un papel esencial (Shute y Rahimi, 2017; van der Kleij et al., 2015).

Resultados de un reciente metaanálisis sobre la efectividad de la retroalimentación en entornos digitales sugieren que EF es el tipo de retroalimentación más eficaz, mientras KCR tiene un efecto positivo menor y KR apenas tiene efectos en el aprendizaje (van der Kleij et al., 2015). Sin embargo, la investigación previa no es concluyente por lo que respecta a la efectividad de la EF en tareas de comprensión que requieren contestar preguntas de un texto (Golke, Dörfler y Artelt, 2015; Llorens, Vidal-Abarca y Cerdán, 2016; Llorens, Vidal-Abarca, Cerdán y Ávila, 2015). Por ejemplo, Golke et al. (2015) examinaron la efectividad de tres tipos diferentes de EF diseñados para mejorar la comprensión de textos: KR + pistas para facilitar la construcción de inferencias, KR + explicaciones del error o KR + apoyo para monitorizar la comprensión del texto. La efectividad de estos tipos de EF fue comparada con KR y con una condición control sin retroalimentación. Estudiantes de sexto grado de Primaria leyeron varios textos expositivos y narrativos para responder preguntas de comprensión tipo test en un entorno digital. Todos los estudiantes, excepto los del grupo sin retroalimentación, recibieron los mensajes asignados después de contestar incorrectamente, tras lo cual tuvieron un segundo intento sin ningún tipo de retroalimentación. Los estudiantes completaron una evaluación inmediatamente después de finalizar la prueba y otra varias semanas después. Ambas pruebas incluyeron diferentes textos y preguntas. Los resultados mostraron que no existían diferencias entre los tipos de retroalimentación EF en comparación con la retroalimentación KR o el grupo sin retroalimentación. Además, la retroalimentación KR no influyó tampoco en el rendimiento de los estudiantes. Resultados paralelos fueron encontrados en su segundo estudio. Los autores concluyeron que la ausencia de efectos de la EF en la comprensión de los textos se debió probablemente al bajo compromiso de los estudiantes en procesar activamente la retroalimentación proporcionada. Sin embargo, estos autores no examinaron hasta qué punto los estudiantes decidieron utilizar la retroalimentación elaborada (EF), aspecto central de nuestro trabajo.

En el área de ciencias, Maier, Wolf y Randler (2016) realizaron un estudio para analizar la efectividad de varios tipos de retroalimentación: EF (KR + explicación tras responder incorrectamente), KR o control sin retroalimentación. Estudiantes de secundaria leyeron un texto de biología, contestaron una serie de preguntas y recibieron retroalimentación según el grupo asignado. Además, pidieron a los alumnos del grupo EF que autoevaluaran el uso que habían realizado de esa información. Los resultados mostraron que, en general, no hubo diferencias entre los tres tipos de retroalimentación en el rendimiento de los estudiantes. Posteriormente, Maier et al. (2016) dividieron a los estudiantes del grupo EF en dos subgrupos: aquellos que indicaron haber utilizado la EF y aquellos que no. Los nuevos resultados mostraron que aquellos estudiantes que decían haber utilizado la EF obtuvieron mejor rendimiento que los estudiantes del grupo control y aquellos que no habían utilizado la EF. No obstante, este estudio cuenta con una limitación obvia al no utilizar una medida objetiva sobre el uso de EF. En el presente trabajo examinamos la decisión de los estudiantes de acceder voluntariamente a la EF en función de la retroalimentación correctiva recibida, así como su influencia en el aprendizaje de conocimientos conceptuales de física sobre la presión atmosférica y el viento. En nuestro estudio, los mensajes EF para cada pregunta consistían en una explicación para facilitar la comprensión de los conocimientos evaluados. Por ejemplo, para la pregunta “Si Torricelli hubiera cogido un tubo de 2 metros de alto lleno de mercurio, en vez de un tubo de un metro y hubiera repetido su experimento, ¿qué habría pasado con la columna de mercurio?”, la respuesta correcta sería “Habría quedado a la misma altura, 760 mm”. En este caso, el mensaje EF era: “Piensa que la altura a la que queda el mercurio está determinada por el punto en el que se iguala el peso del mercurio que contiene el tubo y el peso de la columna de aire sobre la cubeta”. Estos mensajes EF contienen información directamente relacionada con contenidos conceptuales presentados en el texto. En el ejemplo anterior, el mensaje EF contiene una explicación para facilitar la comprensión del experimento de Torricelli, aunque sin proporcionar la respuesta correcta o KCR. Por tanto, se espera que los mensajes EF permitan al estudiante ajustar o corregir su conocimiento sobre los contenidos presentados en el texto sobre la presión atmosférica y los vientos.

Aunque la efectividad de la retroalimentación en entornos digitales ha sido ampliamente investigada (p. ej., Hattie y Gan, 2011; Shute, 2008; van der Kleij, Eggen, Timmers y Veldkamp, 2012), existe poca investigación acerca de cuándo y cómo deciden los estudiantes procesar la retroalimentación (Butler y Winne, 1995). Por tanto, cabe preguntarse si proporcionar retroalimentación correctiva KR o KCR influye en la decisión de acceder a EF, una cuestión esencial para el diseño de entornos digitales. Parece lógico pensar que la retroalimentación correctiva permite al estudiante confirmar su modelo de respuesta cuando responde correctamente, mientras que le induce a iniciar un proceso de corrección de errores cuando responde incorrectamente, modificando así el modelo de respuesta inicialmente construido. Los estudios realizados por Timmers y Veldkamp (2011) y Fox, Klein Entink y Timmers (2014) analizaron el uso que hacían un grupo de estudiantes universitarios de la EF después de completar un test sobre competencia en la búsqueda de información en un entorno digital. Después de responder una serie de preguntas, el sistema proporcionó retroalimentación KR para cada respuesta. Una vez se mostró la retroalimentación KR, los estudiantes pudieron acceder opcionalmente a un mensaje EF para cada pregunta. Es importante señalar que estos mensajes EF contenían retroalimentación KCR junto con una explicación. Los resultados mostraron que los estudiantes accedieron a esos mensajes EF en las preguntas respondidas incorrectamente. Una limitación importante de estos estudios es la presencia de retroalimentación KCR junto con la explicación, por lo que no podemos saber si los estudiantes accedieron a esos mensajes para conocer la respuesta correcta o también para leer la explicación.

Por otra parte, existe investigación que ha examinado el tipo de retroalimentación habitualmente proporcionado en entornos digitales de aprendizaje, así como las preferencias de los aprendices por un tipo de retroalimentación u otro. En un estudio reciente, Tärning (2018) encontró que las aplicaciones utilizadas en Educación Primaria con escolares suecos proporcionaban principalmente retroalimentación KR y en muy pocas ocasiones proporcionaban retroalimentación KCR y EF. Como recomendación, la autora sugiere que los entornos digitales deben incluir EF con explicaciones cuando su objetivo sea facilitar el aprendizaje. Sugerencias similares fueron propuestas por Lefevre y Cox (2016), quienes examinaron el tipo de retroalimentación que preferían los estudiantes de posgrado después de responder preguntas tipo test en un entorno digital. Estos autores sugieren que los entornos digitales deben a) proporcionar retroalimentación, b) ofrecer EF para las respuestas correctas, c) proporcionar retroalimentación clara y focalizada en la tarea, d) ofrecer EF de tipo explicativo en las preguntas que evalúan la aplicación del material estudiado y e) permitir a los estudiantes revisar las preguntas. Los resultados de este estudio mostraron que los estudiantes prestan especial atención a la retroalimentación KR inicialmente y a la retroalimentación KCR cuando responden incorrectamente, por lo que la precisión de las respuestas es un factor esencial para comprender el uso de la EF (Lefevre y Cox, 2016). En un estudio con la metodología pensar-en-voz-alta, Máñez, Vidal-Abarca, Kendeou y Martínez (2019) analizaron el procesamiento de una EF que contenía KR, KCR y pistas para mejorar la comprensión de los contenidos evaluados. Los resultados indicaron que los estudiantes focalizan su atención en conocer la precisión de su respuesta y la respuesta correcta. No obstante lo anterior, existe un vacío respecto al papel que juega la retroalimentación correctiva KR y KCR en el uso de la EF en entornos digitales, cuestión abordada en el presente estudio.

Así, el objetivo de este estudio es, en primer lugar, analizar la influencia de la retroalimentación correctiva KR y KCR en el uso de la EF en un entorno digital. Para ello diseñamos un experimento en el que manipulamos el tipo de retroalimentación correctiva que proporcionaba el sistema automáticamente tras responder cada pregunta: retroalimentación de verificación (KR), de respuesta correcta (KCR) o no correctiva (control). Tras recibir ese mensaje, todos los estudiantes de las tres condiciones podían acceder voluntariamente a un mensaje de retroalimentación elaborada (EF) para cada pregunta. De esta manera examinamos la influencia de la retroalimentación KR y KCR en comparación con una retroalimentación “control” en la decisión de acceder a la EF. Esperamos que la retroalimentación correctiva influya en la tendencia de los estudiantes a utilizar la EF. Por tanto, el grupo “control” será el que empleará la EF en mayor medida, debido a que ésta es la única fuente de información con la que comprobar la comprensión de los conocimientos evaluados. El grupo KR, sin embargo, utilizará la EF un poco menos, debido probablemente a que emplearán la EF tras responder incorrectamente. Por último, el grupo KCR será el que utilice la EF en menor medida, ya que conocer la respuesta correcta puede interferir con el uso de información adicional contenida en la EF. Además, esperamos que los estudiantes utilicen la EF tras responder incorrectamente cuando reciban retroalimentación KR y KCR, mientras que tendrán dificultades para monitorizar su uso cuando desconozcan la precisión de sus respuestas.

Este estudio también examina, en segundo lugar, el efecto del tipo de retroalimentación en el rendimiento de los estudiantes en la prueba de comprensión y en una prueba de aprendizaje final administrada 24 horas después. Mientras que la primera prueba consiste en responder preguntas de comprensión de un texto disponible y recibir retroalimentación sobre las respuestas proporcionadas, la segunda consiste en responder preguntas que evalúan el grado en que los estudiantes son capaces de recordar y transferir el conocimiento aprendido a nuevas situaciones. Dos posibles predicciones pueden ser planteadas con este diseño. En primer lugar, es posible que el grupo que recibe retroalimentación KCR obtenga un rendimiento superior en ambas tareas, debido probablemente a la rápida codificación de las respuestas correctas recibidas. En segundo lugar, es posible que el mayor uso de la EF por parte de los estudiantes de los grupos control y KR cancele el efecto positivo de conocer la respuesta correcta en el grupo KCR. Por tanto, es posible que tanto la retroalimentación correctiva como el acceso a la EF jueguen un papel esencial en el rendimiento de los estudiantes, especialmente en la tarea de aprendizaje final.

Método

Participantes

Sesenta y siete estudiantes de 3º de ESO (M_edad = 15, DT = .82) de dos centros educativos públicos de la Comunidad Valenciana participaron en este estudio. El 52.2% de los estudiantes eran varones y el 47.8% mujeres. Todos los alumnos habían estudiado Ciencias Naturales y Física según el plan de estudios español. La participación fue aprobada por el consejo del centro y la recogida y tratamiento de datos fue realizada de forma que se preservó el anonimato de los participantes. Cada estudiante fue asignado a uno de los tres tipos de retroalimentación correctiva (KR, KCR o control), asegurándonos de que el nivel de conocimiento previo fuera similar en los tres grupos, F(2, 64) = 0.23, p > .05.

Materiales

Los materiales incluyeron un cuestionario de conocimientos previos, materiales para la tarea de comprensión (un texto de ciencias, preguntas de comprensión y mensajes de retroalimentación para cada pregunta) y una prueba de aprendizaje final con nuevas preguntas. Estos materiales fueron previamente validados en dos grupos de 3º de ESO de un centro educativo público. Una vez introducidas las modificaciones oportunas, estos materiales fueron utilizados en el presente estudio.

En primer lugar evaluamos el conocimiento previo en ciencias con un cuestionario compuesto por 30 afirmaciones. Para cada afirmación, los alumnos debían indicar ‘verdadero’, ‘falso’ o ‘no sé’. El cuestionario incluyó conocimiento general de ciencias (“la temperatura es una propiedad de la materia”) y conocimientos específicos de la temática (“cuando la temperatura de un gas disminuye, su presión disminuye”). Cada respuesta correcta obtuvo 1 punto y cada incorrecta un cero; las respuestas ‘no sé’ se contaron por separado.

Toda la tarea de comprensión se efectuó con una aplicación informática cuyo funcionamiento se explica en la sección siguiente. Se empleó un texto sobre la presión atmosférica y el viento adaptado de un libro de texto de ciencias. El texto tenía una longitud de 1,126 palabras, incluidos los títulos de los (sub)apartados y las notas de sus figuras. Para promover la comprensión y el aprendizaje de los contenidos elaboramos 12 preguntas que podían ser contestadas consultando la información del texto. Por ejemplo, “¿La densidad del aire es igual en todos los puntos de la tierra?”. Para contestar esta pregunta, los alumnos debían integrar información de varias frases del texto. En este caso, los estudiantes debían comprender que la atmósfera es un espacio extremadamente grande formado por partículas cuya distribución no es uniforme, que la densidad de las capas del aire varía según la altura y que la presión atmosférica también varía según la temperatura. Por tanto, la respuesta correcta era “No, porque varía en función de la temperatura y la altura”. Cada pregunta tenía asociado un mensaje EF que consistía en una explicación para comprender la respuesta correcta, pero sin decirla explícitamente. Cada mensaje comenzaba con la expresión “Piensa que...”, seguida de la explicación pertinente sobre los fenómenos atmosféricos evaluados en la pregunta. Por ejemplo, el mensaje para la pregunta anterior fue “Piensa que la densidad del aire se determina por lo juntas o separadas que se encuentran las partículas que lo componen y eso depende de las condiciones externas”. Así, estos mensajes EF contenían información directamente relacionada con los contenidos presentados en el texto que eran evaluados en cada pregunta. Es importante señalar que los alumnos tomaban la decisión de acceder voluntariamente a estos mensajes EF después de contestar cada pregunta, siendo cada decisión registrada automáticamente por la aplicación informática. Cada respuesta fue calificada con 1 ó 0 dependiendo de si era correcta o incorrecta.

La prueba de aprendizaje final estuvo formada por 10 preguntas nuevas de respuesta breve. Estas preguntas evaluaban los conocimientos aprendidos en la tarea de comprensión. Por ejemplo, “¿Qué factores hacen variar la presión atmosférica?”. Cada respuesta se calificó con 1 (correcta), .50 (parcialmente correcta) o 0 (incorrecta) en función del grado de exactitud. Para la pregunta anterior, si el estudiante responde “La altura y la temperatura” recibiría un punto, mientras que si únicamente menciona un factor recibiría .50 puntos.

Herramienta. La aplicación informática Read&Learn fue utilizada para la tarea de comprensión. Read&Learn es un desarrollo de una aplicación anterior llamada Read&Answer (Vidal-Abarca et al., 2011). Read&Learn presenta información, registra y computa las acciones y los tiempos de procesamiento de los estudiantes mientras realizan la tarea (p. ej., contestar preguntas de un texto). Además, Read&Learn puede proporcionar diferentes tipos de retroalimentación adaptados a la ejecución de los estudiantes. En este estudio, Read&Learn presentaba el texto en una pantalla (Figura 1a) y la pregunta y sus alternativas de respuesta se presentaron en otra pantalla (Figura 1b). Para contestar, los estudiantes marcaban la alternativa de respuesta que consideraban correcta. Un interfaz sencillo permitía ir de una pantalla a la otra clicando el botón correspondiente en cada pantalla.

Tras responder cada pregunta, Read&Learn proporcionaba a los estudiantes mensajes de retroalimentación correctiva según la condición asignada, KR, KCR, o control (Figura 2a). En la condición KR, los estudiantes recibían información acerca de la corrección de su respuesta (correcto o incorrecto), mientras que en la condición KCR se informaba además acerca de cuál era la alternativa correcta (p. ej., Incorrecto, la respuesta correcta es b) No, porque varía en función de la temperatura y la altura). Por último, para la condición “control”, los estudiantes recibieron mensajes neutros (Has contestado la pregunta X). Tras responder cada pregunta y recibir el mensaje de retroalimentación correspondiente a la condición, los estudiantes de las tres condiciones podían acceder voluntariamente al mensaje EF correspondiente con la explicación de la respuesta (Figura 2b). Al cerrar estos mensajes se presentó la pantalla de la pregunta con la alternativa seleccionada por el estudiante, pero sin señalar la respuesta correcta (Figura 2c). Nótese que sólo los estudiantes de la condición KCR conocían realmente la respuesta correcta cuando se equivocaban, ya que sólo esta retroalimentación incluía la respuesta correcta. Los estudiantes podían pasar a la siguiente pregunta clicando en el botón Siguiente independientemente de si decidían leer EF o no.

Procedimiento

El investigador se puso en contacto con los orientadores de los centros educativos y les explicó el procedimiento del estudio. Después de conseguir los consentimientos informados, se concertaron las fechas en las que se aplicarían las pruebas. El procedimiento general del estudio puede verse en la Figura 3. La aplicación del estudio requirió de tres sesiones. En la primera sesión administramos la prueba de conocimiento previo en papel y lápiz en el aula ordinaria. En la segunda sesión aplicamos la tarea de comprensión en el aula de informática. Cada estudiante completó la tarea individualmente en un ordenador. Los estudiantes recibieron inicialmente las siguientes instrucciones sobre la tarea de comprensión y el uso de Read&Learn: “A continuación leeréis un texto sobre la Presión atmosférica y el viento y responderéis doce preguntas tipo test sobre sus contenidos, pudiendo consultar el texto cuando lo necesitéis. Después de responder cada pregunta, el programa os mostrará un mensaje en el centro de la pantalla” (no se informó del tipo de retroalimentación correctiva que recibiría cada participante). “Cuando veáis ese mensaje, el programa os dará dos opciones: a) ver una explicación (mensaje EF) que puede ayudaros a comprender mejor la respuesta a la pregunta o b) cerrar el mensaje y continuar con la siguiente pregunta sin ver la explicación. Si clicáis en ‘Ver explicación’ aparecerá el mensaje con la explicación; una vez leída, clicad el botón ‘Cerrar’. Al cerrar esos mensajes, veréis la pregunta junto con el botón ‘Siguiente’ para pasar a la siguiente pregunta. El programa os avisará cuando lleguéis a la última pregunta. Es importante que hagáis bien esta tarea porque mañana responderéis unas preguntas para conocer cuánto habéis aprendido. ¿Tenéis alguna duda? Muchas gracias por vuestra colaboración”. Los estudiantes completaron la tarea a su ritmo. Una vez respondida cada pregunta, Read&Learn proporcionó retroalimentación correctiva automáticamente (i.e., KR, KCR o control según la condición asignada) y todos los estudiantes tuvieron la opción de acceder a un mensaje EF para cada pregunta. En la tercera sesión administramos la prueba de aprendizaje final en papel y lápiz 24 horas después de completar la tarea de comprensión. Los estudiantes debían contestar las preguntas con la información que habían aprendido durante la sesión previa. Los estudiantes tenían un código asignado, conocido sólo por cada estudiante y su tutor, a fin de preservar su confidencialidad, a la vez que permitía identificar las respuestas de cada participante a lo largo de las tres sesiones.

Medidas

Se tomaron medidas para cada tarea. Respecto a la evaluación de conocimientos previos, calculamos el número de aciertos en la tarea de verificación de afirmaciones. Para la tarea de comprensión, Read&Learn proporcionó el rendimiento de los estudiantes como el porcentaje de respuestas correctas. Además, proporcionó dos medidas relacionadas con el uso de la EF: el porcentaje de estudiantes que decidieron acceder al menos a un mensaje y el porcentaje de preguntas en que los estudiantes decidieron acceder a la EF. Estas decisiones fueron condicionadas a la precisión de las respuestas de los estudiantes (correctas e incorrectas). Así calculamos los porcentajes de acceso a la EF en función de la exactitud de las respuestas, tomando como total la cantidad de accesos a los mensajes EF. Para la tarea de aprendizaje final calculamos el porcentaje de respuestas correctas.

El estudio nos permitió comparar el acceso a la EF y el rendimiento en las tareas de comprensión y aprendizaje final en función del tipo de retroalimentación correctiva recibido. Para la medida de “acceso a la EF” utilizamos las pruebas no paramétricas Kruskal-Wallis y Wilcoxon, debido a que las puntuaciones no se distribuyen de forma normal. Los porcentajes de accesos a los mensajes EF en el grupo control, W(20) = .867, p = .01, en el grupo KR, W(24) = .854, p = .003, y en el grupo KCR, W(23) = .654, p < .001, se desvían significativamente de la distribución normal. No obstante, los análisis de homogeneidad de varianzas mediante la prueba de Levene demuestran que no existen diferencias significativas dependiendo del tipo de retroalimentación, F(2, 64) = 1.26, p = .29.

Utilizamos ANCOVA para las medidas de producto, ya que las puntuaciones se ajustan a la distribución normal y las varianzas se distribuyen de forma homogénea. Para la “tarea de comprensión”, los aciertos en el grupo control, W(20) = .953, p = .418, y en el grupo KR, W(24) = .938, p = .145, tienen una distribución normal; no obstante, las puntuaciones del grupo KCR, W(23) = .862, p = .005, se desvían de la distribución normal. El análisis de homogeneidad de varianzas mediante la prueba de Levene demuestra que no existen diferencias significativas entre los grupos, F(2, 64) = 2.83, p = .067. Para la “tarea de aprendizaje final” los aciertos en el grupo control, W(20) = .916, p = .082, en el grupo KR, W(24) = .976, p = .82 y en el grupo KCR, W(23) = .956, p = .384, tienen una distribución normal. Además, la prueba de Levene demuestra que no existen diferencias significativas en las varianzas entre los tipos de retroalimentación, F(2, 64) = 0.09, p = .92.

Resultados

Efecto del Tipo de Retroalimentación Correctiva en el Uso de la EF

Para analizar el efecto del tipo de retroalimentación correctiva (control, KR y KCR) en el porcentaje de estudiantes que utilizan la EF y el porcentaje de accesos a la EF utilizamos la prueba Kruskal-Wallis. Las medias y desviaciones típicas figuran en la Tabla 1. Para el porcentaje de estudiantes que acceden a la EF encontramos un efecto significativo en función del tipo de retroalimentación correctiva recibido, H(2) = 16.15, p < .001. La prueba Jonckheere revela una tendencia significativa en los datos, indicando que a medida que la retroalimentación correctiva incluye información más específica sobre la respuesta (KR y KCR), el porcentaje de estudiantes que accede a la EF disminuye, J = 746, z = -3.89, p < .001, r = -.48. Para el porcentaje de accesos a la EF encontramos resultados paralelos, ya que este también está significativamente influido por el tipo de retroalimentación correctiva recibido, H(2) = 21.28, p < .001. Además, la prueba Jonckheere revela una tendencia significativa, indicando que a medida que la retroalimentación correctiva incluye información más específica sobre la respuesta (KR y KCR), el porcentaje de accesos a la EF disminuye drásticamente, J = 746, z = -4.80, p < .001, r = -.59. Ambos resultados confirman las hipótesis relacionadas con el efecto de la retroalimentación correctiva en el uso de la EF.

Para comprender mejor el efecto de la retroalimentación correctiva en el uso de la EF analizamos el acceso a la EF en función de la precisión de las respuestas (correctas, incorrectas) para cada tipo de retroalimentación correctiva (control, KR y KCR) mediante la prueba Wilcoxon. Para el grupo control, no existen diferencias en el porcentaje de accesos a los mensajes EF entre las respuestas incorrectas (Mdn = 50.00) y las correctas (Mdn = 50.00), z = -1.42, p = .157, r = -.22. Sin embargo, para el grupo KR encontramos que los estudiantes tienden a acceder a los mensajes EF más frecuentemente para las respuestas incorrectas (Mdn = 77.50) que para las respuestas correctas (Mdn = 0), z = -3.75, p < .001, r = -.54. Igualmente, para el grupo KCR, los estudiantes tienden a acceder a los mensajes EF más frecuentemente para las respuestas incorrectas (Mdn = 16.67) que para las respuestas correctas (Mdn = 0), z = -2.02, p = .043, r = -.30. Por tanto, los estudiantes del grupo control accedieron a EF independientemente de la precisión de sus respuestas, mientras que los estudiantes que recibieron KR y KCR accedieron a EF después de responder incorrectamente (Figura 4). Por tanto, estos resultados confirman nuestra hipótesis inicial.

Efecto del Tipo de Retroalimentación en el Rendimiento de los Estudiantes

Los porcentajes de acierto para la tarea de comprensión y la tarea de aprendizaje final fueron analizados mediante dos ANCOVAs en los que introdujimos el tipo de retroalimentación correctiva (control, KR y KCR) como variable entre-sujetos y el nivel de conocimiento previo como covariable. Las medias y desviaciones típicas para cada variable de rendimiento figuran en la Tabla 2. Los resultados del ANOVA unifactorial para el porcentaje de aciertos en la tarea de comprensión no revelan diferencias significativas en función de la retroalimentación recibida, F(2, 63) = 0.80, p > .05. Sin embargo, observamos diferencias estadísticamente significativas en función del nivel de conocimiento previo de los estudiantes, F(1, 63) = 7.51, p = .008, η_p² = .11. Para el rendimiento en la tarea de aprendizaje final encontramos resultados paralelos. No existen diferencias significativas en función de la retroalimentación recibida, F(2, 63) = 1.45, p > .05. Sin embargo, observamos diferencias estadísticamente significativas en función del nivel de conocimiento previo, F(1, 63) = 30.60, p < .001, η_p² = .33. Estos resultados confirman nuestra segunda predicción para el efecto de la retroalimentación en el rendimiento de los estudiantes.

Además, realizamos dos análisis de regresión lineal múltiple para examinar el efecto del conocimiento previo, el tipo de retroalimentación correctiva y la decisión de acceder a los mensajes EF en el rendimiento de los participantes en ambas tareas. Para el rendimiento en la tarea de comprensión, los resultados indican que los tres predictores explican un 10.2% de su varianza, R² ajustado = .06, F(3, 63) = 2.38, p = .078. La única variable que predijo significativamente el rendimiento fue el conocimiento previo de los participantes, β = .319, t(63) = 2.66, p = .01. El tipo de retroalimentación correctiva, β = .005, t(63) = 0.04, p > .05, y las decisiones de acceder a la EF, β = .018, t(63) = 0.13, p > .05, no predijeron significativamente el rendimiento.

Para el rendimiento en la tarea de aprendizaje final, los resultados indican que los tres predictores explican un 37.4% de su varianza, R² ajustado = .34, F(3, 63) = 12.53, p < .001. En este caso, observamos que el conocimiento previo, β = .574, t(63) = 5.74, p < .001, el tipo de retroalimentación correctiva, β = .263, t(63) = 2.29, p = .025, y las decisiones de acceder a la EF, β = .248, t(63) = 2.16, p = .034, predijeron significativamente el resultado en la tarea de aprendizaje final. Estos resultados confirman nuestra hipótesis inicial.

Discusión

La retroalimentación formativa es uno de los componentes centrales en el diseño de entornos digitales de aprendizaje (Shute y Rahimi, 2017; van der Kleij et al., 2015). Aunque su efectividad ha sido ampliamente investigada (p. ej., Hattie y Gan, 2011; Shute, 2008), existe poca investigación acerca de cuándo y cómo se utiliza la retroalimentación en entornos digitales (Fox et al., 2014; Máñez et al., 2019; Timmers y Veldkamp, 2011). Una complicación adicional es que frecuentemente no se compara la influencia que ejercen unos tipos de retroalimentación sobre otros, i.e., KR y KCR sobre EF. Por ello, el objetivo principal del estudio fue examinar el impacto de la retroalimentación correctiva (KR y KCR) en la decisión voluntaria de acceder a EF cuando los estudiantes aprenden conocimientos conceptuales de ciencias, una de las áreas en las que los estudiantes de Educación Secundaria experimentan más dificultades (OCDE, 2006 y 2010). Un segundo objetivo fue examinar la influencia de la retroalimentación en el rendimiento de los estudiantes. Estos objetivos fueron abordados con una de las tareas más representativas en el ámbito académico consistente en contestar preguntas a partir de un texto disponible (Ness, 2011). Así, este estudio contribuye a la comprensión del uso de la retroalimentación formativa y proporciona información valiosa para el diseño de entornos digitales de aprendizaje.

Respecto al primer objetivo, según predijimos, existe una marcada tendencia en el uso de la EF en función de la retroalimentación correctiva recibida. Proporcionar retroalimentación correctiva cada vez más detallada (KR y KCR) disuade a los estudiantes de acceder a los mensajes EF, seguramente porque muchos estudiantes se centran en conocer la corrección de sus respuestas, más que en un aprendizaje conceptual profundo (Máñez et al., 2019). Así, los estudiantes que desconocen si sus respuestas son correctas tienden a acceder a un mayor número de mensajes EF, probablemente con la intención de encontrar pistas que les permitan confirmar su modelo de respuesta o conocer cuál es la respuesta correcta. Los estudiantes que reciben KR acceden a los mensajes EF en menor medida que los de control ya que tienden a acceder cuando fallan, pero no cuando aciertan. Los estudiantes que reciben KCR acceden a los mensajes EF en muy pocas ocasiones ya que cuando fallan reciben información sobre cuál es la respuesta correcta. De hecho, aproximadamente la mitad de los estudiantes que recibió retroalimentación KCR nunca decidieron consultar la EF. Parece que invertir esfuerzos en procesar retroalimentación adicional cuando se conoce la respuesta correcta (KCR) se considera poco necesario y, por tanto, no se implican en el coste que conlleva leer las explicaciones de la EF. Es llamativo que todos los estudiantes del grupo control decidieron acceder al menos a un mensaje EF, siendo este porcentaje significativamente más bajo en las otras condiciones, particularmente en la condición KCR, en la que casi el 50% de los estudiantes nunca accedió a un mensaje EF. Aunque resultados previos indican que los estudiantes acceden frecuentemente a la EF en entornos digitales (Timmers y Veldkamp, 2011), nuestros resultados sugieren que los estudiantes deciden utilizar la EF en un número limitado de ocasiones. Cabe destacar que Timmers y Veldkamp (2011) diseñaron mensajes EF que incluían la respuesta correcta, por lo que la decisión de utilizar esa retroalimentación pudo estar motivada por la retroalimentación KCR incluida. En nuestro estudio, los resultados sugieren que los estudiantes acceden a la EF para intentar conocer la respuesta correcta, ya que la tasa de accesos depende de la información correctiva recibida automáticamente tras responder.

Por tanto, ofrecer retroalimentación correctiva interfiere en cierta medida en la decisión de buscar EF adicional. ¿Cuál es, pues, la función de la retroalimentación correctiva? Los resultados sugieren que la función de la retroalimentación KR y KCR es verificar el modelo de respuesta creado por el estudiante para responder y mejorar la monitorización del uso de la EF (Mory, 2004). Así, cuando los estudiantes reciben retroalimentación de tipo correctivo y fallan, entonces deciden acceder a EF (Fox et al., 2014; Timmers y Veldkamp, 2011). Cuando los estudiantes no reciben retroalimentación correctiva acceden a la EF independientemente de si sus respuestas son correctas o incorrectas, lo que resulta congruente con resultados previos que indican que los estudiantes experimentan problemas al monitorizar la precisión de sus respuestas (Dunlosky y Metcalfe, 2009). Aunque el uso de la EF parece estar motivado por la precisión de las respuestas de los estudiantes, hay alumnos que, a pesar de ser informados de sus errores, deciden no acceder a la EF. Puede que estos estudiantes consideren la tarea demasiado compleja, no estén suficientemente motivados para buscar información adicional, o tengan dificultades para entender la EF. Tomados en conjunto, los resultados de nuestro estudio son consistentes con la idea de que el objetivo de los estudiantes al responder preguntas de un texto disponible es proporcionar la respuesta correcta (Rouet et al., 2017).

Respecto al segundo objetivo, examinar el efecto del tipo de retroalimentación en el rendimiento de los estudiantes, los resultados revelaron que no existen diferencias entre los tres tipos de retroalimentación empleados (control + EF, KR + EF y KCR + EF), resultado consistente con investigaciones recientes en las áreas de comprensión y aprendizaje de ciencias (Golke et al., 2015; Maier et al., 2016). Este resultado puede deberse al uso de la EF que realizaron los estudiantes en función de la retroalimentación correctiva recibida automáticamente después de responder cada pregunta. Como predijimos, el mayor uso de la EF por parte de los estudiantes de los grupos control y KR pudo haber compensado el efecto positivo de conocer la respuesta correcta en la condición KCR. Los resultados del análisis de regresión confirman esta idea, ya que tanto la retroalimentación correctiva como el uso de la EF juegan un papel positivo en el aprendizaje final. En apoyo de esta interpretación se puede mencionar el dato que los estudiantes del grupo control no sólo tuvieron acceso a la EF, sino que además hicieron un mayor uso de esta información, reduciendo así la distancia con el rendimiento de los estudiantes que recibieron retroalimentación KCR, quienes decidieron acceder a menos mensajes EF. Recibir retroalimentación KCR pudo tener un efecto positivo en su rendimiento (van der Kleij et al., 2015), ya que conocer la respuesta correcta permite modificar el modelo de respuesta construido durante la contestación a la pregunta. Así, es posible que la retroalimentación KCR sea capaz de influir en el aprendizaje profundo de este tipo de conocimientos de ciencias. Parece que proporcionar retroalimentación que incluya información correctiva y elaborada puede ejercer una influencia positiva en el aprendizaje de los estudiantes cuando contestan preguntas de comprensión en entornos digitales (Llorens et al., 2016; Llorens et al., 2015). Aun así, debemos ser cautos con respecto a la efectividad de la retroalimentación en este tipo de tareas, ya que los porcentajes de aciertos fueron relativamente bajos, debido probablemente a la dificultad de los conocimientos del texto.

Estos hallazgos tienen implicaciones teóricas y prácticas destacables. Este experimento aporta información teórica acerca de cómo los estudiantes de Secundaria monitorizan y autorregulan el uso de la retroalimentación cuando han de contestar preguntas de un texto de ciencias. Los resultados de este estudio ayudan a conocer la tendencia de los estudiantes a utilizar voluntariamente la EF en función de la presencia de retroalimentación KR y KCR. Igualmente, ofrece información valiosa para el diseño de herramientas digitales en las que se proporcione retroalimentación al responder preguntas sobre los contenidos de un texto. Aunque la retroalimentación correctiva KR y KCR pueden interferir en el uso de la EF, parece necesario que los entornos digitales proporcionen ambos tipos de retroalimentación (Lefevre y Cox, 2016; Mason y Bruning, 2001), especialmente cuando se promueve el aprendizaje de conocimientos complejos (Tärning, 2018). Aunque nuestro estudio sugiere que el uso de la EF es reducido, especialmente cuando se recibe retroalimentación KCR, esta información parece ser útil para corregir el modelo de respuesta creado por los estudiantes cuando se aprenden conceptos complejos en el área de ciencias.

El presente estudio tiene una serie de limitaciones que abren nuevas líneas de estudio para explorar el uso y la efectividad de la retroalimentación formativa en entornos digitales. En primer lugar, la tarea de comprensión tuvo una duración breve y los materiales evaluaron únicamente una temática del área de física. Aunque los patrones observados en la decisión de buscar EF después de recibir retroalimentación correctiva KR y KCR son claros, es necesario conocer si estos resultados se replican en otros dominios de conocimiento del aprendizaje de ciencias, así como en otras áreas como matemáticas o ciencias sociales. Asimismo, es importante señalar que los resultados muestran una marcada tendencia en el uso de la EF a pesar de contar con una muestra relativamente pequeña. Nuevos estudios son necesarios para replicar estos resultados con muestras más amplias que abarquen también otras etapas educativas. En segundo lugar, parece necesario incluir una condición control en la que los estudiantes no reciban ningún tipo de retroalimentación, ya que las diferencias en rendimiento respecto a los otros grupos experimentales pueden haberse minimizado debido a que la condición control accedió a los mensajes EF frecuentemente. En tercer lugar, el rendimiento en la prueba de aprendizaje final fue relativamente bajo, por lo que parece necesario incluir una prueba tipo test, ya que los estudiantes no habían sido entrenados para responder preguntas en formato abierto. En cuarto lugar, sería interesante conocer el efecto de factores externos en el uso de la EF (Lefevre y Cox, 2016), ya que estos factores pueden ser fácilmente manipulables en los entornos digitales y pueden desempeñar un papel importante en el proceso de aprendizaje de los estudiantes. Por ejemplo, la disponibilidad de los textos al contestar las preguntas es una variable situacional que puede afectar al uso de la EF. Finalmente, resulta interesante conocer la razón por la que los estudiantes deciden no buscar EF. Así, examinar aspectos motivacionales puede ofrecer información valiosa sobre la autorregulación del uso de la EF (e.g., Nicol y Macfarlane-Dick, 2006), ya que la motivación juega un papel central en situaciones de aprendizaje con retroalimentación (Kluger y DeNisi, 1996).

Tomados en conjunto, los resultados sugieren que no podemos asumir que la retroalimentación sea procesada automáticamente. Más bien, parece que los alumnos monitorizan el uso de la retro-alimentación elaborada (EF) en situaciones de aprendizaje autorregulado (Butler y Winne, 1995), ajustando su uso en función de la retroalimentación correctiva KR o KCR proporcionada tras contestar cada pregunta y la precisión de sus respuestas. De este modo, los hallazgos de este experimento son valiosos para el diseño de entornos digitales de aprendizaje en los que la retroalimentación puede ajustarse a las necesidades de los estudiantes cuando aprenden conocimientos conceptuales.

Extended Summary

Answering questions from a text and receiving formative feedback is a common academic task (Ness, 2011) that can be delivered in digital environments (Shute & Rahimi, 2017). Formative feedback refers to any information provided to the students about their performance to improve their learning (Shute, 2008). Formative feedback embraces a range of feedback types. A common distinction is usually made between corrective and elaborative feedback. Corrective feedback provides students with Knowledge of Response or KR (correct/incorrect) or Knowledge of Correct Response or KCR (The correct answer is X). Elaborated Feedback or EF usually contains additional information beyond students’ performance such as explanations or hints. A recent review study suggests that EF is the most effective type of feedback to enhance learning in digital environments, KCR feedback has a lower effect, and KR does not influence learning outcomes (van der Kleij, Feskens, & Eggen, 2015).

In order to be effective, students have to engage actively in processing its content (Bangert-Drowns, Kulik, Kulik, & Morgan, 1991). However, little research has explored how students process feedback in digital environments. Recent findings suggest that students tend to focus their attention on knowing the accuracy of their responses and the correct answer even when EF is received (Lefevre & Cox, 2016; Máñez et al., 2019). Although EF is usually provided along with corrective feedback, little is known about the effect of receiving KR and KCR feedback on a student’s decision to use EF. Thus, our study examines the extent to which corrective KR and KCR feedback may influence a student’s decision to voluntarily access EF when answering questions from a science text in a digital environment. Likewise, this study also examines whether these types of feedback influence the student’s performance when learning conceptual knowledge in the area of physics.

Method

Sixty-seven 9th-grade students (M_age = 15, SD = .82) participated in the study (52.2% were male and 47.8% were female). All participants were Spanish native speakers from two schools of Valencia (Spain). All the students had studied Natural Sciences and Physics according to the Spanish curriculum. After measuring his/her prior knowledge, each participant was assigned to one of the three experimental groups that varied in the type of corrective feedback delivered: KR, KCR, or control (i.e., non-corrective feedback). For the comprehension task, students read a science text about the atmospheric pressure and wind phenomenon and answered a set of multiple-choice questions with the text available in Read&Learn, a web-based application that traces students’ behaviors. After answering each question, Read&Learn delivered corrective feedback automatically depending on the experimental condition assigned. Whereas students in the KR group received information on their response correctness (correct/incorrect), students in the KCR group were informed about the correct response (The correct answer is X), and students in the control group received non-corrective feedback (e.g., “You have answered question number X”). After receiving these feedback messages, all the students had the option to voluntarily access EF made of an explanation to infer the correct response without stating it explicitly. For instance, for the question “Is the air density the same in all points of the earth?” (Correct response: “No, because it varies depending on the temperature and the altitude”), the EF message is “Think that the air density is determined by how close or separated the particles are, and that depends on the external conditions”. Finally, participants answered a final learning task with new short-answer questions 24 hours later. Read&Learn recorded the student’s decisions to access EF, which were conditioned to question-answering success. We computed two performance scores: comprehension task performance and final learning task performance as the percentage of correct responses.

Results

To address the first aim, to analyze the effect of corrective feedback (KR, KCR, and control) on the use of EF, we conducted Kruskal-Wallis tests for both the percentage of students who accessed the EF and the percentage of EF accesses. Significant differences were found for both measures as a function of the type of corrective feedback received. The Jonckheere tests revealed a significant trend in the data, indicating that as the corrective feedback includes more specific information about the response (KR and KCR feedback), the use of EF decreases significantly. That is, fewer students decided to access EF and lower rates of accesses appeared, especially when corrective feedback included the correct response (i.e., KCR). To better understand the effect of the type of corrective feedback on the use of EF, we took into account the question-answering success (correct vs. incorrect responses). The Wilcoxon tests revealed that students in the control group accessed EF in a similar fashion after providing either correct or incorrect responses. However, students in the KR and KCR feedback groups accessed EF more frequently after providing incorrect responses (see Figure 4).

To address our second aim, to examine the effect of feedback type on the students’ performance, we conducted two ANCOVAs and regression analyses for both comprehension task performance and final learning task performance. ANCOVAs’ results revealed no significant differences as a function of feedback type. Students’ prior knowledge significantly explained both performance measures. For the final learning task performance, regression analyses showed that the student’s prior knowledge, the corrective feedback type, and the EF use significantly predicted the student’s outcomes.

Discussion

It is common to assume that students process EF when received. Recent research suggests that this is not always the case, probably because of the corrective feedback provided along with the EF. Regarding our first goal, results showed a trend in the EF use based on the corrective feedback provided. Providing KR and KCR feedback seems to discourage students from accessing EF to some extent, probably because many students focus on knowing the answer correctness (Máñez et al., 2019). Students who do not know if their answers are correct tend to access EF quite often, probably looking for clues to confirm their response model or to uncover the correct answer. Receiving KR feedback triggers lower rates of EF accesses, since students tend to use EF after failure. Students who received KCR feedback seldom access EF, probably because they consider unnecessary to process additional information when they already know the correct response. Moreover, results indicate that KR and KCR feedback’s main function is to verify the student’s response model and hence increase the use of EF after failure (Fox, Klein Entink, & Timmers, 2014), since students struggle to monitor the accuracy of their responses. Regarding our second goal, results revealed no differences among the feedback types, which is consistent with recent findings in the areas of text comprehension and science learning (Golke, Dörfler, & Artelt, 2015; Maier, Wolf, & Randler, 2016). This result can be explained based on the EF use each experimental group made. The greater use of EF in the control and KR feedback groups may have compensated for the positive effect of knowing the correct answer in the KCR group. Overall, findings suggest that students access EF in an effort to know the correct answer since they use EF as a function of the type of corrective feedback in combination with the accuracy of their responses. This study contributes to our understanding of how secondary-school students engage in processing formative feedback when learning conceptual knowledge and provides valuable information for the design of digital learning environments.