Validación de la Escala de Eficacia Docente para la Escritura en el Contexto Educativo Español

Introducción

El objetivo fundamental de todo centro educativo es favorecer el desarrollo integral y el rendimiento académico de su alumnado (Alonso-Tapia et al., 2020). Dentro del contexto escolar existen diferentes características ligadas al propio centro y sus aulas, al profesorado y al alumnado que influyen en el rendimiento académico del alumnado (Alonso-Tapia et al., 2020; Heck, 2009; Martínez-Otero, 1996). En concreto, el profesorado, a través del conjunto de estrategias instruccionales y comportamientos que desarrolla en el aula, es quien mayor influencia ejerce en el rendimiento del alumnado (Heck, 2009) y en su motivación hacia el aprendizaje (Iglesias-García et al., 2020). A su vez, la práctica instruccional que el profesorado implementa en el aula está modulada por diferentes variables personales, como por ejemplo: sus creencias epistemológicas acerca del proceso de enseñanza-aprendizaje (Hernández Pina et al., 2010), sus conocimientos pedagógicos y de la materia (Brindle, 2013) o sus características motivacionales (Alonso Tapia y Moral Bosch, 2010). Concretamente en el ámbito que nos ocupa de la enseñanza de la escritura, estudios previos a nivel internacional destacan la eficacia docente frente a otras variables, como las orientaciones teóricas del profesorado, sus actitudes o su nivel de preparación, como aquella variable que mejor predice la práctica instruccional del profesorado en la enseñanza de la escritura, siendo a su vez la única variable del profesorado que se relaciona con el rendimiento escritor del alumnado (ver Brindle, 2013; De Smedt et al., 2016). Conscientes de ello, es necesario contar con instrumentos válidos y fiables que permitan su medición en diferentes contextos y niveles educativos.

Como señalan diferentes estudios de revisión en torno a la medición de la eficacia docente en la enseñanza en general, es posible encontrar diferentes instrumentos de evaluación de dicha eficacia, desarrollados en base a dos líneas teóricas diferenciadas, como son la teoría del locus de control de Rotter y la teoría socio-cognitiva de Bandura (Henson, 2002; Klassen et al., 2011; Tschannen-Moran et al., 1998).

Desde la primera línea teórica, el constructo “eficacia docente” surge por primera vez en el estudio desarrollado por la Organización RAND en 1976 en el que se incluyeron dos ítems para evaluar en qué medida el profesorado creía que los resultados obtenidos por sus estudiantes (motivación y rendimiento del alumnado) eran debidos a sus propias acciones (enseñanza), es decir, eran controlados por el maestro (Brindle, 2013; Henson, 2002; Tschannen-Moran et al., 1998). Se consideró que puntuaciones altas en el ítem 1 reflejaban una expectativa de resultado referente a la creencia del docente de que la influencia de la enseñanza en el rendimiento del alumnado está limitada por factores contextuales y se denominó a esta dimensión “eficacia docente general”. Respecto al ítem 2, se consideró que puntuaciones altas en él reflejaban la confianza del docente en su capacidad para superar los factores que podrían dificultar el aprendizaje del alumnado y se denominó “eficacia docente personal” (Brindle, 2013; Henson, 2002; Tschannen-Moran et al., 1998). Preocupados por la confiabilidad de la escala de 2 ítems de la organización RAND, y siguiendo la línea teórica de Rotter, se desarrollaron posteriormente diferentes instrumentos para evaluar la eficacia docente de una forma más completa y comprehensiva, como el Teacher Locus of Control, de Rose y Medway (1981), o el Responsability for Student Achievement, de Guskey (1981).

Por otro lado, desde la teoría socio-cognitiva, la conceptualización y medición de la eficacia docente se asienta sobre dos constructos diferenciados propuestos por Bandura, la autoeficacia percibida y las expectativas de resultados (Brindle, 2013; Brouwers y Tomic, 2003; Henson, 2002; Tschannen-Moran et al., 1998). De este modo, la autoeficacia se refiere a las creencias de la persona acerca de su capacidad para producir determinados niveles de desempeño en la realización de una tarea y las expectativas de resultados hacen referencia a la estimación de los posibles resultados de realizar dicha tarea con el nivel de desempeño esperado (Bandura, 1986, 1994). En base a esta segunda línea teórica también se han desarrollado diferentes instrumentos para evaluar la eficacia docente, como: la Teacher Self-Efficacy Scale, de Bandura (1990), la Teachers’ Sense of Efficacy Scale, de Tschannen-Moran y Woolfolk Hoy (2001), o la Teacher Efficacy Scale, de Gibson y Dembo (1984). Este último instrumento (en adelante TES) ha sido el más utilizado para evaluar la eficacia docente en la enseñanza en general (Brouwers et al., 2002; Brouwers y Tomic, 2003; Henson, 2002) y el más adaptado para el estudio de la eficacia docente en otras áreas, como la enseñanza de las ciencias (Bleicher, 2004; Moslemi y Mousavi, 2019; Riggs y Enochs, 1990) o la escritura (Graham et al., 2001), ámbito este último en el que se centra el presente estudio.

Gibson y Dembo (1984) diseñaron la TES, constituida por 30 ítems enfocados a medir las dos dimensiones teóricas propuestas por Bandura, expectativas de resultados y autoeficacia. Los resultados del análisis factorial realizado por Gibson y Dembo mostraron la existencia de dos factores diferenciados. Denominaron “eficacia docente personal” al primer factor, que hacía referencia a la creencia del docente acerca de que posee las habilidades y capacidades para afectar positivamente en el aprendizaje del alumnado, y consideraron que este factor reflejaba el constructo de autoeficacia propuesto por Bandura. Al segundo factor lo denominaron “eficacia docente general” y se refería a la creencia del docente de la capacidad limitante que pueden ejercer los factores externos sobre su capacidad para influir positivamente en el rendimiento del alumnado, considerando que esta dimensión reflejaba el constructo de expectativas de resultados de Bandura. No obstante, de los 30 ítems de la escala TES propuestos inicialmente (Gibson y Dembo, 1984) sólo 16 de ellos se relacionaban claramente con uno u otro factor, mientras que los ítems restantes se relacionaron con ambos factores, lo cual dio lugar al desarrollo posterior de diferentes versiones reducidas de la escala TES de 10 o 16 ítems (Guskey y Passaro, 1994; Hoy y Woolfolk, 1993; Soodak y Podell, 1993). Si bien los análisis realizados de dichas versiones reducidas siguieron evidenciando una estructura bidimensional de la escala TES, Brouwers y colaboradores (Brouwers y Tomic, 2003; Brouwers et al., 2002) estudiaron diferentes soluciones factoriales de esta, incluyendo el modelo tradicional de dos factores, dos modelos diferentes con tres factores e incluso un modelo que exploraba la existencia de cuatro factores. Sin embargo, sus resultados mostraron que ninguno de los modelos hipotetizados presentó un ajuste aceptable. Por lo tanto, no parece existir evidencia clara en torno a los factores que la estructuran y la interpretación de estos. Esta limitación también se observa en relación a la medición de la eficacia docente en la enseñanza de la escritura (Brindle, 2013), aspecto que se revisa a continuación.

Medición de la Eficacia Docente en el Ámbito Instruccional de la Escritura

Graham et al. (2001) realizaron una adaptación de la versión reducida de 16 ítems de la escala TES de Gibson y Dembo (1984) para el ámbito de la enseñanza de la escritura, dando lugar a la Teacher Efficacy Scale for Writing (en adelante TES-W). Dicha escala fue aplicada a 153 docentes de 1º a 3º de Primaria en Estados Unidos. Sus resultados confirmaron la estructura bidimensional de la escala, con dos factores que se relacionaban claramente con el factor de “eficacia docente personal” o “autoeficacia” (10 ítems), referido a la creencia del docente acerca de su capacidad para enseñar a escribir e influir positivamente en el rendimiento escritor del alumnado, y con el factor de “eficacia docente general” (6 ítems), referido a la creencia del docente acerca de que su capacidad para enseñar a escribir puede estar limitada por factores contextuales, como las derivadas de un entorno familiar desfavorable (expectativas de resultado). Ambos factores eran acordes a los obtenidos en la investigación previa en torno a la medición de la eficacia docente en general, excepto un ítem (número 10) perteneciente en la escala original de Gibson y Dembo (1984) a la eficacia docente general, que pasó a saturar el factor de eficacia docente personal en la escala de eficacia docente en la escritura (TES-W).

Posteriores estudios a nivel internacional han analizado la estructura factorial de la TES-W (Graham et al., 2001), no sólo en Estados Unidos (Brindle et al., 2016; Gilbert y Graham, 2010; Graham et al., 2016), sino también en países como: Bélgica (De Smedt et al., 2016), Holanda (Rietdijk et al., 2018), Chile (Bañales et al., 2020) o Brasil (Coelho, 2020).

En Estados Unidos, los estudios desarrollados posteriormente utilizaron únicamente los ítems relacionados con la dimensión de “eficacia docente personal” de la escala TES-W (Graham et al., 2001), a excepción del ítem 10 (Brindle et al., 2016; Gilbert y Graham, 2010; Graham et al., 2016). Los resultados del estudio de Gilbert y Graham (2010), en el que se analizó la eficacia docente personal en la enseñanza de la escritura de 103 profesores de 4º a 6º de Primaria, confirmaron, tras la eliminación de los ítems 3 y 6, la existencia de dos factores dentro de la dimensión de “eficacia docente personal”. Al primer factor lo denominaron “eficacia docente para mejorar el rendimiento escritor del alumnado” (4 ítems) y al segundo factor “eficacia docente para abordar las dificultades de escritura” (3 ítems). Estos resultados fueron confirmados por el estudio posterior realizado por Graham et al. (2016) con 125 docentes de 1º a 3º de Primaria, obteniendo de nuevo la existencia de dos factores dentro de la dimensión de eficacia docente personal, aunque la composición del primer factor, en este caso estaba constituido por seis ítems (ya que no se eliminaron los ítems 3 y 6). Sin embargo, en el estudio llevado a cabo por Brindle et al. (2016) con una muestra de 997 docentes de 3º y 4º de Primaria, en el que de los 10 ítems iniciales, eliminaron los ítems 10 y 14 e incluyeron un ítem nuevo; se obtuvo una única dimensión, a la que denominaron “eficacia docente en escritura” (9 ítems).

En Bélgica, De Smedt et al. (2016) también evaluaron únicamente la dimensión de “eficacia docente personal” en la enseñanza de la escritura con 128 profesores de 5º y 6º de Primaria, utilizando para ello la versión de la escala de Brindle et al. (2016). Sus resultados mostraron la existencia de dos factores dentro de la dimensión de eficacia docente personal, un primer factor denominado “autoeficacia para enseñar al alumnado en riesgo de presentar dificultades escritoras” y un segundo factor denominado “atribución de la mejora del rendimiento escritor del alumnado a la propia instrucción en escritura”, pero no se aportó información acerca de los ítems que constituían cada factor. En Chile, Bañales et al. (2020) evaluaron la “eficacia docente personal” de 254 profesores de 4º a 6º de Primaria, utilizando para ello una escala de 10 ítems que adaptaron de la escala propuesta por Gilbert y Graham (2010) constituida por nueve ítems. En su estudio identificaron un único factor de eficacia personal, si bien no se aportó información acerca de los ítems específicos considerados en el análisis. Este resultado fue confirmado por Coelho (2020), quien evaluó la “eficacia docente personal” con 440 profesores de secundaria de Brasil, utilizando para ello una adaptación en la redacción de los nueve ítems propuestos por Gilbert y Graham (2010).

Finalmente, sólo en Holanda, Rietdijk et al. (2018) utilizaron la escala completa TSE-W (Graham et al., 2001), incluyendo ambas dimensiones, “eficacia personal” y “eficacia general”, para evaluar la eficacia docente en la enseñanza de la escritura en 61 docentes de 4º a 6º de Primaria. Sus resultados mostraron, tras la eliminación de tres ítems relacionados con la “eficacia docente personal” y de dos ítems relativos a la “eficacia docente general”, una estructura bidimensional, “eficacia personal” (7 ítems) y “eficacia general” (4 ítems). Sin embargo, no se aportó información acerca de los ítems eliminados ni de los ítems que saturaban en cada factor.

El Presente Estudio

La revisión de la literatura a nivel internacional en torno a la validación de la Teacher Efficacy Scale for Writing ha puesto de manifiesto ciertas limitaciones que se exponen a continuación y que se pretenden cubrir con el presente estudio. En primer lugar, los resultados de estudios previos no muestran una única estructura factorial de la escala TES-W, encontrando desde estudios que identifican dos factores al considerar el estudio de la escala completa, “eficacia general” y “eficacia personal” (Rietdijk et al., 2018), hasta aquellos otros que centran su análisis únicamente en el factor de eficacia personal, identificando un único factor (Bañales et al., 2020; Brindle et al., 2016; Coelho, 2020; Graham et al., 2001; Rietdijk et al., 2018) o dos factores (De Smedt et al., 2016; Gilbert y Graham, 2010; Graham et al., 2016), no contando con estudios previos que hayan analizado el ajuste del modelo obtenido con otras posibles soluciones factoriales aportando luz a esta cuestión. Unido a ello está el hecho de que en el estudio original de validación de la TES-W (Graham et al., 2001), así como en el estudio de Gilbert y Graham (2010), se realizó un análisis factorial exploratorio mediante un análisis de componentes principales sin restricciones, técnica que no permite ofrecer información acerca del ajuste general del modelo factorial obtenido (Lloret-Segura et al., 2014). En el presente estudio, en base a la literatura existente, se propone y se analiza, mediante análisis factorial confirmatorio, un nuevo modelo factorial de la escala TES-W, constituido por 2 factores principales (eficacia personal y eficacia general), estando a su vez el factor de eficacia personal compuesto por dos sub-factores denominados, siguiendo la nomenclatura utilizada por Gilbert y Graham (2010), “eficacia docente para la mejora del rendimiento escritor del alumnado” y “eficacia docente para abordar las dificultades de aprendizaje de la escritura” (ver Figura 1). Además, a diferencia de los estudios previos en los que sólo se han analizado los ítems referidos a la dimensión de “eficacia personal”, a excepción del realizado por Rietdijk et al. (2018), en este estudio se aborda el análisis factorial de la escala original considerando todos los ítems, tanto los referidos en el estudio de Graham et al. (2001) a la dimensión de “eficacia personal” como a la dimensión de “eficacia general”. Si bien se ha cuestionado el significado y la confiabilidad de la dimensión de “eficacia docente general” (Brindle, 2013), de acuerdo con Rietdijk et al. (2018), el hecho de considerar ambas dimensiones puede ofrecer datos interesantes de cara al diseño de futuros programas de desarrollo profesional del profesorado, al poder diferenciar si los factores que podrían limitar la eficacia docente del profesorado se deben a una baja confianza en sus propias capacidades o si por el contrario deriva de la creencia de que su enseñanza y sus esfuerzos están limitados por factores contextuales considerándolo una pérdida de tiempo.

En segundo lugar, la mayoría de los estudios descritos previamente, a excepción de los estudios desarrollados en Estados Unidos (Gilbert y Graham, 2010; Graham et al., 2001) no han informado del modelo estadístico empleado en sus análisis factoriales y/o no han ofrecido datos de los ítems específicos utilizados en el análisis, así como de los ítems eliminados y de los ítems que saturaban en cada factor. Si bien es cierto que el objetivo principal de estos estudios era analizar la influencia que ejerce la eficacia docente para la enseñanza de la escritura en la práctica instruccional implementada y/o en el rendimiento escritor del alumnado y el no realizar un análisis robusto de las propiedades psicométricas de la escala; estos datos son importantes para poder comparar la validez y confiabilidad de la escala en diferentes contextos educativos y culturales. En el contexto educativo español, desde nuestro conocimiento, no se cuenta con estudios de validación de dicha escala. Si bien en el estudio desarrollado por Pacheco et al. (2009) con profesorado español de Infantil y Primaria se utilizó una traducción de la escala TES-W, incluyendo los ítems de ambas dimensiones de “eficacia personal” y “eficacia general”, no se realizó un análisis factorial de dicha escala.

Por todo ello, el primer objetivo del presente estudio es examinar la estructura factorial de la Teacher Efficacy Scale for Writing en una muestra de profesorado español de Lengua Castellana y Literatura de Educación Primaria y Secundaria Obligatoria, analizando el ajuste de un nuevo modelo factorial propuesto en base a la literatura científica, constituido por dos factores, “eficacia general” y “eficacia personal”, estando a su vez este último conformado por dos sub-factores, “eficacia docente para la mejora del rendimiento escritor del alumnado” y “eficacia docente para abordar las dificultades de aprendizaje de la escritura” (ver Figura 1). No obstante, también se somete a estudio el modelo tradicional de dos factores para comprobar cuál es la estructura más ajustada de la escala.

Un segundo objetivo del estudio consiste en analizar la invarianza factorial del modelo propuesto, al considerar diferentes variables sociodemográficas del profesor, como el género y el nivel educativo en el que imparten docencia (Primaria vs. ESO). Desde nuestro conocimiento no contamos con estudios previos desarrollados en el ámbito de la enseñanza de la escritura que hayan analizado la invarianza factorial de la escala TES-W. Sólo en los estudios de Brouwers y colaboradores (Brouwers y Tomic, 2003; Brouwers et al., 2002) se comprobó la invarianza del modelo factorial de la TES mediante la división aleatoria de la muestra. Si se confirma la invarianza del modelo, esto indicará que la versión española de la TES-W puede ser utilizada para analizar la eficacia docente en la enseñanza de la escritura sin que los resultados se vean alterados por las variables sociodemográficas consideradas: el género y el nivel educativo en el que desempeñan su labor docente.

Con este estudio se aborda por primera vez la validación de la escala Teacher Efficacy Scale for Writing con profesorado español, lo que contribuirá a aportar luz acerca de su aplicabilidad en el contexto educativo español. Además, considerando que la eficacia docente puede estar influenciada por las características culturales y de los propios participantes, estos resultados favorecerán el estudio futuro en torno al análisis y comparación de la eficacia docente en la enseñanza de la escritura en diferentes contextos educativos y culturales (Klassen et al., 2011). Además, el estudio comprende una muestra amplia de profesorado que contempla toda la escolarización obligatoria del sistema educativo español (Primaria y ESO), ampliando el estudio sobre la evaluación de la eficacia docente en la enseñanza de la escritura con profesorado de ESO, nivel educativo que solo ha sido considerado en el estudio de Coelho (2020).

Método

Participantes

La muestra del estudio la formaron 452 docentes de Lengua Castellana y Literatura de la educación obligatoria procedentes de las nueve provincias de Castilla y León, contando con profesorado participante en todos los cursos que componen la educación obligatoria, es decir, de los seis cursos que componen la Educación Primaria y de los cuatro cursos de la Educación Secundaria Obligatoria. Un 77% de los participantes eran mujeres (n = 348) y un 23% hombres (n = 104). En relación al nivel educativo en el que desarrollaban la docencia, un 81.19% enseñaban en Educación Primaria (n = 367) y un 18.81% en ESO (n = 85). La media de años de experiencia docente de los participantes en el estudio era de 19.06 (DT = 9.89), con un rango de respuesta entre 1 y 43 años.

Instrumento

Cuestionario de Eficacia Docente para la Escritura. La escala Teacher Efficacy Scale for Writing (Graham et al., 2001) consta de 16 ítems, con una escala de respuesta tipo Likert de seis puntos que varían desde 1 (totalmente en desacuerdo) hasta 6 (totalmente de acuerdo). Del total de los ítems, 10 se relacionan con la dimensión de “eficacia personal” y seis se relacionan con la dimensión de “eficacia general”. Además, seis ítems están redactados de forma inversa, por lo que deben ser recodificados (ítems 2, 4, 8, 11, 13 y 16). La puntuación obtenida en cada dimensión consiste en el promedio de las puntuaciones otorgadas a los ítems que constituyen cada dimensión.

Procedimiento

En primer lugar, se llevó a cabo una traducción de los 16 ítems de la escala TES-W por un panel de expertos del ámbito científico de la composición escrita y con dominio de la lengua inglesa. Para ello, se siguió el método de traducción inversa (Hambleton et al., 2005). Seguidamente, se efectuó la fase de pilotaje de la versión española de la escala con una pequeña muestra de profesorado de diferentes cursos de la educación obligatoria (n = 6), con el fin de detectar problemas o dificultades en la comprensión de los ítems. El profesorado no indicó ningún problema, por lo que no se realizó ninguna modificación y se dio por finalizada la fase de traducción de la escala, obteniéndose de esta forma el Cuestionario de Eficacia Docente para la Escritura (versión española del Teacher Efficacy Scale for Writing).

Posteriormente, se diseñó la versión on-line del cuestionario a través de Google Forms en el que se incluyó el Cuestionario de Eficacia Docente para la Escritura, así como una sección previa relativa a la información socio-demográfica de los participantes.

Para la recogida de datos, se contactó con el equipo directivo de todos los centros educativos de Castilla y León para presentarles el estudio y solicitar tanto la participación de su centro como el consentimiento informado de todo el profesorado que voluntariamente participara. Aquellos centros que aceptaron participar en el estudio recibieron, vía email, toda la información relacionada con el estudio, el enlace de acceso a la encuesta y las instrucciones para cumplimentarla. La dirección de los centros difundió dicho email a todo el profesorado de Lengua Castellana y Literatura, para que aquellos que estuvieran interesados en participar en el estudio realizaran la encuesta.

Análisis de Datos

Para el estudio de las propiedades psicométricas del cuestionario, en primer lugar, se analizó la distribución normal de cada uno de los ítems comprobando que tenían unos índices de curtosis y asimetría entre ± 7 y ± 3 respectivamente (Kline, 2011). Asimismo, se analizó la magnitud y la dirección de la relación entre ítems utilizando el coeficiente de correlación de Pearson.

La validez de la estructura factorial, se analizó, en primer lugar, mediante análisis factorial exploratorio (AFE), para comprobar que los factores en el presente estudio estaban saturados por los mismos ítems que en su versión original, y en segundo lugar, mediante análisis factorial confirmatorio (AFC), utilizando para ello el programa estadístico AMOS. Como método de estimación del modelo se utilizó el método de máxima verosimilitud, utilizando la matriz de covarianza de los ítems con el fin de analizar el ajuste del modelo propuesto (ver Figura 1). La bondad de ajuste del modelo se analizó mediante: i) índices absolutos como la ratio chi-cuadrado y grados de libertad (χ²/gl) y el índice de bondad de ajuste (GFI), ii) índice de ajuste incremental mediante el índice de ajuste comparativo (CFI) e iii) índices de ajuste de la parsimonia, como el índice de bondad de ajuste ajustado (AGFI) y el error cuadrático medio de aproximación (RMSEA). La bondad de ajuste del modelo se evaluó atendiendo a las siguientes reglas: a) que la ratio χ²/gl sea menor a 3, b) que valores superiores a .90 en los índices de bondad de ajuste (GFI), de ajuste comparativo (CFI) y bondad de ajuste ajustado (AGFI) son aceptables y c) que valores menores que .08 en el error cuadrático medio de aproximación (RMSEA) indican un ajuste del modelo aceptable (Browne y Cudeck, 1993; Hoyle, 1995; Hu y Bentler, 1999; Kline, 1998; Valdés Cuervo et al., 2019).

Finalmente, se analizó la invarianza factorial del modelo propuesto, comprobando el ajuste del mismo mediante análisis factorial confirmatorio (AFC) en base a las variables género y nivel educativo de la muestra.

Resultados

Se muestran en primer lugar, los resultados del análisis factorial exploratorio de la Escala de Eficacia Docente para la Escritura, con objeto de comprobar la estructura factorial del modelo propuesto, así como la carga de los ítems en cada uno de los factores y subfactores. A continuación, se presentan los resultados del análisis factorial confirmatorio mostrando el ajuste del modelo factorial propuesto (ver Figura 1) frente al modelo de 2 factores. Finalmente se presentan los resultados relativos a la invarianza factorial de la escala en función del género y el nivel educativo de la muestra.

Resultados del Análisis Factorial Exploratorio

En primer lugar, en relación a la distribución de los ítems, todos ellos mostraron valores dentro del rango de distribución normal, por lo que se rechaza en todos los casos la hipótesis de normalidad univariada (ver Tabla 1).

Se realizó un análisis factorial exploratorio (AFE) con el método de extracción de máxima verosimilitud y rotación varimax, con el fin de confirmar que los factores y subfactores objeto de estudio estaban saturados por los mismos ítems que en su versión original. Los datos mostraron un buen ajuste para este tipo de modelo, lo cual se evidencia en la prueba de esfericidad de Bartlett, χ²(120) = 1,490.63, p < .000, y el valor de Kaiser-Meyer-Olkin (KMO) de .82 (Lloret-Segura et al., 2014). Como criterio para la inclusión de los ítems se consideraron pesos factoriales mayores de .30 en sólo uno de los factores, lo cual refleja la solidez teórica de la escala (Hair et al., 1999). Los 16 ítems de la escala se agrupan en tres factores, que explican en conjunto el 45.6% de la varianza. El primer factor corresponde al subfactor del modelo denominado “eficacia docente para la mejora del rendimiento escritor del alumnado” y está constituido por seis ítems que explican el 23.4% de la varianza. El segundo factor, “eficacia general” en el modelo, está integrado por otros seis ítems, que explican el 14.5% de la varianza. Por último, el tercer factor, que corresponde con el subfactor del modelo denominado “eficacia docente para abordar las dificultades de aprendizaje de la escritura”, lo conforman cuatro ítems y explica el 7.7% de la varianza (ver Tabla 2).

Resultados del Análisis Factorial Confirmatorio

Se realizó un análisis factorial confirmatorio utilizando el método de estimación de máxima verosimilitud (ML). Los resultados del AFC sugieren un buen ajuste global a los datos del modelo propuesto, χ²/gl = 2.43, GFI = .97, AGFI = .95, CFI = .97, RMSEA = .05 IC (.03, .07).

Los valores de los coeficientes de regresión sugieren que los factores explican una parte aceptable de la varianza de los ítems (ver Figura 2). La correlación entre el factor personal y el general es de -.23, de lo que se sucede que son factores relacionados pero que no presentan problemas de colinealidad. No obstante, como en el modelo propuesto (ver Figura 1) el factor personal está conformado por dos variables latentes, se realizó un AFC específico para este factor (ver Figura 3), mostrando los resultados obtenidos un buen ajuste de los datos a los dos sub-factores propuestos, χ²/gl = 2.68, GFI = .96, AGFI = .94, CFI = .93, RMSEA = .06 IC (.04, .07), y una adecuada correlación entre los factores de .65.

Tomando en consideración que el modelo factorial propuesto es corroborado por los resultados, se pasó a comparar el mismo con la estructura bidimensional tradicional, pudiendo observar que el modelo propuesto en este estudio es el modelo que presenta un mejor ajuste factorial (ver Tabla 3).

Resultados del Análisis de la Invarianza Factorial

Para comprobar que la eficacia del modelo no se ve afectada significativamente por las características de la muestra, se sometió el modelo propuesto a análisis factorial confirmatorio, seleccionando la muestra en base al género y al nivel educativo del profesorado que participó en el estudio. Como se puede observar en la Tabla 4, el modelo muestra un buen ajuste general para todas las variables, cumpliendo los indicadores analizados los parámetros establecidos, excepto el índice de bondad de ajuste ajustado (AGFI) en el caso del profesorado de secundaria, estando muy próximo.

Discusión

En el presente estudio se analiza, por primera vez, el modelo factorial de la Escala de Eficacia Docente para la Escritura (versión española de la Teacher Efficacy Scale for Writing), contrastando un modelo constituido por dos factores (“eficacia personal” y “eficacia general”) y dos subfactores dentro del factor de eficacia personal. Asimismo, se compara el ajuste del modelo propuesto frente al modelo bidimensional tradicional y se analiza la invarianza factorial del modelo propuesto al considerar el género y el nivel educativo de la muestra participante en el estudio, siendo, desde nuestro conocimiento, el primer estudio en abordar esta cuestión en el ámbito de la enseñanza de la escritura.

En base a los resultados obtenidos en el presente estudio es posible concluir que el modelo hipotetizado presenta un buen ajuste factorial, siendo a su vez el mejor modelo de los analizados. Por tanto, en base a este modelo, el constructo de eficacia docente en la enseñanza de la escritura, estaría constituido por dos dimensiones relacionadas, siendo estas la “eficacia docente general” y la “eficacia docente personal”, estando a su vez la “eficacia personal” constituida por dos sub-dimensiones que también están relacionadas. La varianza explicada en conjunto por los tres factores obtenidos en este estudio (45.6%) es superior a la varianza explicada por los dos factores obtenidos por Graham et al. (2001) en el estudio original de validación de la escala (36%), lo que sugiere una adecuada fiabilidad de los datos al modelo propuesto.

Respecto al factor de “eficacia docente general” (factor 2 del modelo hipotetizado), está constituido por los mismos seis ítems que en la escala original (Graham et al., 2001), que se enfocan a evaluar la creencia del docente acerca de los límites que pueden ejercer en su capacidad para la enseñanza de la escritura diferentes factores contextuales, como un entorno familiar desfavorable. En el presente estudio, este factor explica el 14.5% de la varianza obtenida, siendo esta superior a la obtenida en el estudio original de validación de Graham et al. (2001) (13%) (citado en Graham et al., 2016), así como en el estudio de validación de la eficacia docente en la enseñanza de las ciencias (12.3%) de Moslemi y Mousavi (2019). Sin embargo, ni en el propio estudio de Graham et al. (2001) ni en el estudio de Rietdijk et al. (2018), en el que se incluyó este factor en el análisis factorial, se aporta información acerca de la varianza explicada por el mismo. Además, si bien es cierto que estudios previos han cuestionado la fiabilidad y validez de este factor (Brindle, 2013; Moslemi y Mousavi, 2019), su consideración ofrece información relevante a la hora de entender los factores que podrían limitar la eficacia docente del profesorado, ofreciendo claves a considerar en el diseño de programas de desarrollo profesional del profesorado (Rietdijk et al., 2018).

Por su parte, el factor de “eficacia docente personal” está constituido por dos subfactores, que se corresponden con los obtenidos en el estudio de Gilbert y Graham (2010). La varianza explicada por este factor en su conjunto (31.3%) es inferior a la varianza explicada por el mismo (61.2%) en el estudio de Gilbert y Graham. Sin embargo, en dicho estudio sólo se sometió a análisis el factor de eficacia personal, lo que podría explicar esta diferencia, ya que en estudios previos que analizaron la escala en su totalidad tanto en el ámbito de la enseñanza de la escritura (Graham et al., 2001; citado por Graham et al., 2016) como en el de las ciencias (Moslemi y Mousavi, 2019), la varianza obtenida fue inferior a la obtenida en el presente estudio (26% y 23.6% respectivamente). A su vez, el primer subfactor se corresponden con el factor denominado por Gilbert y Graham “eficacia docente para la mejora del rendimiento escritor del alumnado”, incluyendo además los ítems 6 y 10, que fueron eliminados en el citado estudio. Los ítems que conforman este factor se centran en evaluar la confianza del docente acerca de que sus esfuerzos y métodos de enseñanza ejercen un impacto positivo sobre el rendimiento escritor del alumnado. El segundo subfactor de la eficacia personal se corresponde con el factor “eficacia docente para abordar las dificultades de aprendizaje de la escritura” del estudio de Gilbert y Graham (2010), aunque en el presente estudio se incluye el ítem 3, que fue eliminado en el estudio citado. Este factor parece enfocarse a evaluar la confianza del docente en sus conocimientos y habilidades para adaptar su enseñanza a las dificultades de aprendizaje de la escritura detectadas. El primer subfactor explica el 23.4% de la varianza obtenida y el segundo el 7.7%. En el estudio de Gilbert y Graham (2010) no se aporta información al respecto, si bien, en comparación con el estudio de Graham et al. (2016), la varianza explicada por el primer subfactor en este estudio es superior a la obtenida por ellos (21%), mientras que la varianza explicada por el segundo subfactor en este estudio es inferior (16%). No obstante, es necesario considerar que en el estudio de Graham et al. (2016) sólo se analizó el factor de eficacia personal.

Finalmente, los resultados obtenidos en relación con la invarianza factorial del modelo propuesto al considerar las características de los participantes en este estudio como el género y el nivel educativo muestran que la eficacia del modelo no se ve afectada significativamente por las características de la muestra. Por ello, se podría considerar que la versión española de la Teacher Efficacy Scale for Writing puede ser utilizada para analizar en futuros estudios la existencia de posibles diferencias en la eficacia docente en función de las variables sociodemográficas consideradas. No obstante, el estudio que se presenta es el primero en abordar esta cuestión, al menos en el ámbito de la enseñanza de la escritura, siendo este resultado coherente con lo obtenido por Brouwers et al. (2002) en su estudio de validación de la escala Teacher Efficacy Scale (Gibson y Dembo, 1984).

En definitiva, los resultados obtenidos permiten concluir que la Escala de Eficacia Docente para la Escritura en su versión española, constituida por dos factores de “eficacia general” y “eficacia personal”, con dos subfactores en éste último, es un instrumento válido y fiable para evaluar la eficacia docente en la enseñanza de la escritura en el contexto educativo español a lo largo de la educación obligatoria. No obstante, el estudio que se presenta es el primero en abordar este análisis en el ámbito de la enseñanza de la escritura, por lo que se sugiere necesario realizar, en futuros estudios que pretendan evaluar la eficacia docente en la enseñanza de la escritura, análisis factorial confirmatorio, considerando las características de la muestra participante, contribuyendo finalmente a la generalización de la validez de la escala en otros contextos educativos y en otras poblaciones muestrales (Klassen et al., 2011). Disponer de un instrumento fiable que permita evaluar, en este caso en docentes españoles de la educación obligatoria, sus creencias de eficacia en la enseñanza de la escritura, es clave para avanzar en la línea de investigación centrada en la mejora de la enseñanza de la escritura. Tal y como han evidenciado estudios previos, la eficacia docente en la escritura se relaciona positivamente con el uso de prácticas instruccionales efectivas en escritura (ver Brindle 2013; Gilbert y Graham, 2010; Graham et al., 2016; Rietdijk et al., 2018; Sánchez-Rivero et al., en prensa) e influye positivamente en el rendimiento escritor del alumnado (ver De Smedt et al., 2016), siendo clave la consideración de esta variable en el ámbito instruccional en la composición escrita. Así, disponer de un instrumento como el que se presenta permitiría corroborar estos resultados en el contexto educativo español, en especial su relación con el rendimiento escritor del alumnado, aspecto que no ha sido analizado aún en nuestro contexto educativo.

A nivel práctico en el ámbito educativo, los resultados obtenidos pueden ofrecer datos interesantes de cara al diseño de futuros programas de desarrollo profesional del profesorado (Rietdijk et al., 2018). En este sentido, sería posible comprender y determinar si bajas puntuaciones en la eficacia docente del profesorado derivan de una baja confianza del docente en sus conocimientos y métodos de enseñanza de la escritura, siendo necesario en este caso enfocar la formación del profesorado al dominio de prácticas y métodos de instrucción efectivos para la mejora del rendimiento escritor del alumnado, o, por el contrario, el docente podría manifestar una alta confianza en sus conocimiento y habilidades para enseñar al alumnado la escritura, pero una baja confianza y seguridad a la hora de abordar las dificultades de aprendizaje de la escritura, lo que haría necesario centrar la formación docente en torno a esta cuestión. A su vez, si se favorece en el profesorado un mayor nivel de preparación para la enseñanza de la escritura, unido a un mayor nivel de eficacia docente personal, cabría esperar un aumento en su confianza para superar las limitaciones derivadas de factores contextuales, que podrían limitar la efectividad de su enseñanza. En definitiva, si se proporciona formación al profesorado en el ámbito de la enseñanza de la escritura, incrementando de esta forma su sentido de eficacia, cabría esperar un incremento en el compromiso y perseverancia de estos en la implementación de prácticas instruccionales en escritura efectivas (Zimmerman, 2000), más aún cuando la complejidad instruccional es mayor, como en el caso de la instrucción estratégica y autorregulada (Fidalgo et al., 2015; Torrance et al, 2015), que si bien es el enfoque de enseñanza más efectivo para el rendimiento escritor del alumnado (Graham y Harris, 2018), su implementación en el aula es compleja debido a su carácter multicomponente (Fidalgo et al., 2011; López et al., 2017). Todo ello contribuiría positivamente al rendimiento escritor del alumnado (Graham y Harris, 2018) y su autoeficacia, especialmente en periodos críticos como en la Secundaria (Martínez-Cocó et al., 2009; Olivares et al., 2016).

Extended Summary

In the instructional field of writing, teacher efficacy is an important variable related to teachers’ practice and to students’ writing performance (see Brindle, 2013; De Smedt et al., 2016). Therefore, valid, reliable instruments to measure it in different educational contexts are essential.

A number of review studies on the measurement of teacher efficacy have noted several assessment instruments which have been developed via two different theoretical approaches, Rotter’s Locus of Control Theory and Bandura’s Social Cognitive Theory (Henson, 2002; Klassen et al., 2011; Tschannen-Moran et al., 1998). The most widely-used instrument (Brouwers et al., 2002; Brouwers & Tomic, 2003; Henson, 2002) is the Teacher Efficacy Scale developed by Gibson and Dembo (1984), which has been adapted to assess teacher efficacy in other subjects such as science (Moslemi & Mousavi, 2019; Riggs & Enochs, 1990) and writing (Graham et al., 2001), the latter being the focus of this study.

Gibson and Dembo (1984) developed a 30-item scale based on Bandura’s Social Cognitive Theory to measure the two constructs Bandura proposed, outcome expectancies and self-efficacy. Their factor analysis supported a two-factorial structure, namely “personal teaching efficacy” and “general teaching efficacy.” The former refers to a teacher’s belief that they have the skills and abilities to bring about students learning (Bandura’s self-efficacy dimension) and the latter refers to a teacher’s belief that their ability to bring about change is limited by external factors (Bandura’s outcome expectancy dimension). Although they produced a two-factor solution, only 16 of the 30 items proposed by Gibson and Dembo loaded solely on one factor or the other.

Graham et al. (2001) adapted 16-items from Gibson and Dembo’s (1984) Scale to the field of writing instruction and developed the Teacher Efficacy Scale for Writing. They found evidence for a two-factor scale. The first factor, called “personal teaching efficacy”, refers to teachers’ beliefs about their ability to teach writing and positively influence students’ writing performance. The second, called “general teaching efficacy”, refers to teachers’ beliefs that their ability to teach writing may be limited by contextual factors, such as the home and family background. Both factors were consistent with the factors found by Gibson and Dembo (1984), with the exception of item 10.

Subsequent studies have analysed the factorial structure of the Teacher Efficacy Scale for Writing developed by Graham et al. (2001), not only in the United States (Brindle et al., 2016; Gilbert & Graham, 2010; Graham et al., 2016), but also in Belgium (De Smedt et al., 2016), the Netherlands (Rietdijk et al., 2018), Chile (Bañales et al., 2020), and Brazil (Coelho, 2020). Reviews of those studies lead us to conclude that there is a lack of consensus about the factorial structure of the Teacher Efficacy Scale for Writing. Some studies have analysed the full original scale and have identified a 2-factor structure: general efficacy and personal efficacy (Rietdijk et al., 2018). Other studies have only analysed the personal efficacy factor. Some of those studies have suggested that there are two factors within the dimension of personal teaching efficacy (De Smedt et al., 2016; Gilbert & Graham, 2010; Graham et al., 2016), while others have indicated a single personal efficacy factor (Bañales et al., 2020; Brindle et al., 2016; Coelho, 2020; Graham et al., 2001; Rietdijk et al., 2018). In addition, in their original validation study, Graham et al. (2001), as well as Gilbert and Graham (2010), used principal component analysis, a method that does not provide information about the fit of the factorial model obtained, while the remaining studies did not report the statistical models they used. Therefore, in this study, we propose and test a factorial model of the Teacher Efficacy Scale for Writing consisting of two factors (personal efficacy and general efficacy) and two sub-factors within the personal efficacy factor, called “teacher efficacy for improving students’ writing performance” (first sub-factor) and “teacher efficacy for addressing writing difficulties” (second sub-factor), based on Gilbert and Graham (2010). We also compare the fit of the proposed factorial model to the traditional 2-factor model. Finally, we analyse the factorial invariance of the model with respect to the gender and educational level of this study’s participants.

Native speakers translated the items of the original scale into Spanish following direct and inverse translation (Hambleton et al., 2005). It was then piloted with a small sample of teachers in order to detect possible mistakes or problems in general understanding. No problems were detected and the design of the Cuestionario sobre la Eficacia Docente para la Escritura was concluded. Subsequently, we designed an on-line questionnaire which included the Cuestionario sobre la Eficacia Docente para la Escritura along with a section collecting participants’ socio-demographic information. The participants were 452 teachers of Spanish language and literature (77% women and 23% men) in compulsory education (81.19% from primary school and 18.81% from secondary school).

To analyse the factorial structure of the Cuestionario sobre la Eficacia Docente para la Escritura we carried out factor analysis, first an exploratory factor analysis (EFA), then a confirmatory factor analysis (CFA) with the maximum likelihood estimation method.

The results from this study support a good fit of the hypothesized model of the Cuestionario sobre la Eficacia Docente para la Escritura and a better fit of the model to the data than the traditional 2-factor model. The “general efficacy” factor is made up of six items and explains 14.5% of the variance. The “personal efficacy” factor is made up of two subfactors, “teacher efficacy for improving students’ writing performance” and “teacher efficacy for addressing writing difficulties.” The former is made up of six items and explains 23.4% of the variance, while the latter is made up of four items and explains 7.7% of the variance. All items loaded on the expected factors. Moreover, the results from this study show that the effectiveness of the proposed model is not significantly affected by the characteristics of the participants (gender or educational level).

We conclude that the Cuestionario sobre la Eficacia Docente para la Escritura is a valid, reliable instrument for assessing teacher efficacy for writing in the Spanish educational context throughout compulsory education. However, this study is the only one that has addressed this type of analysis, at least in the field of teaching writing. Therefore, we suggest that future studies perform confirmatory factor analysis on their data before using the scale to assess teachers’ efficacy in writing, as well as considering factorial invariance based on the characteristics of their samples. That would contribute to the generalization of the validity of the scale to other educational contexts and samples (Klassen et al., 2011). Finally, from a practical point of view in the educational context, the results from this study offer important information that may help us understand the factors that could be limiting teachers’ feelings of efficacy and help in adapting the design of professional development programs to teachers’ needs (Rietdijk et al., 2018).