Escala de Funcionamiento Ejecutivo para Escolares: Análisis de las Propiedades Psicométricas

Introducción

La Escala de Funcionamiento Ejecutivo (EFE) fue diseñada con la finalidad de valorar la percepción de padres y docentes acerca de la frecuencia de ciertas conductas que pueden presentar los escolares cuando realizan tareas que demandan procesos de control cognitivo. La capacidad atencional, la memoria de trabajo, la flexibilidad, el control inhibitorio, la organización y la planificación son aquellos procesos de control cognitivo que se ponen en marcha frente a las exigencias y demandas de los diferentes contextos de aprendizaje. Su correcto funcionamiento es un buen predictor de logros académicos en la temprana y mediana infancia (Best, Miller y Naglieri, 2011; Blair, 2013; Ison, Greco, Korzeniowski y Morelato, 2015; Korzeniowski, Cupani, Ison y Difabio, 2016; Schmittmann, van der Maas y Raijmakers, 2012).

A pesar de las diferencias conceptuales sobre la definición de funciones ejecutivas (FE), gran parte de la comunidad científica sostiene que este complejo constructo hace referencia a un conjunto de capacidades cognitivas de alto orden que regulan los comportamientos, pensamientos y emociones necesarios para alcanzar metas y resolver problemas (Diamond, 2013; Hughes, 2011). Permiten un comportamiento autorregulado, flexible, creativo y adaptable a las situaciones cambiantes del ambiente.

Se han identificado tres funciones ejecutivas esenciales o básicas: control inhibitorio, memoria de trabajo y flexibilidad cognitiva (Diamond 2013; Miyake, Friedman, Emerson, Witzki y Howerter, 2000), a partir de las cuales se desarrollan otras más complejas como la planificación, la resolución de problemas, la organización, la fluidez y la metacognición (Collins y Koechlin 2012; Lunt et al. 2012). Los estudios que se han abocado a comprender su estructura sostienen que las FE son capacidades cognitivas interdependientes que trabajan articuladamente en el logro de los objetivos propuestos (Diamond, 2013; Lehto, Juujärvi, Kooistra y Pulkkinen, 2003; Miyake et al., 2000). Asimismo, se ha observado que en su curso evolutivo las FE progresan de un estado de mayor indiferenciación a uno de mayor diferenciación (Hughes, 2011; Huizinga, Dolan y van der Molen, 2006). Las funciones ejecutivas emergen conjuntamente, siendo difícil poder evaluarlas de manera distintiva en la temprana infancia, pero gradualmente van marcando su trayectoria individual durante la infancia y la adolescencia (Hughes, 2011). Esta diferenciación permite un mayor control jerárquico y una mayor flexibilidad cognitiva, observándose un efecto aditivo y sistemático sobre el control de la cognición (Diamond, 2013; Flores-Lázaro, Castillo-Preciado y Jiménez-Miramonte, 2014).

Las FE son capacidades esenciales para el desarrollo cognitivo, social y emocional en la infancia (Diamond y Ling, 2016; Lipina y Evers, 2017). Asimismo, predicen un buen desempeño escolar (Best et al., 2011; Blair, 2013; Checa y Rueda, 2011; Fuhs, Nesbitt, Farran y Dong, 2014; García-Madruga, Vila, Gómez-Veiga, Duque y Elosúa, 2014; Korzeniowski et al., 2016). Los estudios longitudinales han documentado que una adecuada trayectoria evolutiva de las FE durante la niñez predice un mejor rendimiento académico, un mejor estatus laboral, mayor calidad de vida y menor incidencia de trastornos de conducta en la adolescencia y la adultez (Berthelsen, Hayes, White y Williams, 2017; Moffitt et al., 2011). En consecuencia, identificar alteraciones en las trayectorias de desarrollo de las FE, en vistas a implementar intervenciones tempranas y eficaces, es uno de los desafíos actuales de la neuropsicología infantil.

En los últimos años se observa un creciente interés por desarrollar protocolos de evaluación neuropsicológica con validez ecológica (Bombín-González et al., 2014) y se busca una evaluación amplia y contextualizada del funcionamiento cognitivo del niño que responda al principio multimétodo y multiinformante (Contini, Figueroa, Cohen Imach y Coronel, 2009). En este contexto, resulta necesario complementar la información diagnóstica arrojada por las baterías de tests con instrumentos que puedan revelar el funcionamiento cotidiano del niño. Los inventarios de conducta alcanzan este propósito al brindar una descripción de las manifestaciones conductuales de las FE de los niños en los contextos naturales de desarrollo, como el hogar o la escuela (Anderson, Anderson, Northam, Jacobs y Mikiewiez, 2002; Frick, Barry y Kamphaus, 2010; Gioia, Isquith, Guy y Kenworthy, 2000; Sadeh, Burns y Sullivan, 2012).

Existen múltiples instrumentos que permiten recabar información sobre diferentes dimensiones del comportamiento infantil. Algunos de ellos han sido utilizados en investigaciones transculturales, como por ejemplo la Lista de Comportamientos para Niños (en inglés, Child Behavior Checklist - CBCL; Achenbach,1991), utilizada para la detección de problemas comportamentales y competencias sociales de niños y adolescentes entre 4 y 18 años de edad. Este instrumento fue estandarizado para la población infantil urbana de 6 a 11 años de Capital Federal, Argentina (Samaniego, 2008). Otras escalas son la Evaluación de Matson de Habilidades Sociales en Jóvenes (en inglés, Matson Evaluation of Social Skills in Youngsters - MESSY) de Matson, Rotatori y Helsel (1983), que indaga competencia social, y la Escala de Comportamiento Preescolar y Jardín de Infantes de Merrell (2003), que evalúa habilidades sociales y problemas de conducta internalizadores/externalizadores.

Se han diseñado escalas comportamentales de funciones ejecutivas (Delis, 2012; Gioia, Isquith, Retzlaff y Espy, 2002; Sadeh et al., 2012); sin embargo, pocas han sido adaptadas y baremadas para población infantil latinoamericana. Un instrumento pionero en el área es el Cuestionario de Evaluación Conductual de la Función Ejecutiva – versión infantil (en inglés, Behavior Rating of Executive Function - BRIEF-P; Gioia et al., 2000) para niños preescolares (de 2 a 5 años 11 meses), que permite la evaluación de los aspectos más cotidianos, conductuales y observables de las siguientes funciones ejecutivas: inhibición, flexibilidad, control emocional, memoria de trabajo, planificación y organización. En Argentina se está realizando la adaptación y elaboración de las normas locales de este cuestionario mediante un proyecto colaborativo con TEA ediciones que incluye a niños hispanoamericanos (Gioia, Espy y Isquith, 2016). Si bien este cuestionario es frecuentemente utilizado tanto en la clínica como en investigación, su extensión (73 ítems) hace que no siempre los padres y docentes estén dispuestos a responderlo.

El Inventario de Funcionamiento Ejecutivo de Delis, (en inglés, Delis Rating of Executive Function - D-REF; Delis, 2012) es un set de escalas comportamentales destinadas a evaluar funciones ejecutivas y sus subprocesos en niños y adolescentes entre 5 y 18 años de edad. Posee una versión para padres, una para docentes y un autoinforme aplicable desde los 11 años de edad. Es una medida de screening destinada a evaluar la frecuencia de problemas de comportamiento en el niño que presenta índices clínicos que permiten identificar niños con TDAH, Asperger o Autismo. A pesar del valor diagnóstico de este instrumento no hay estudios de adaptación y estandarización para población hispana (Warnick, Drake y Vidrine, 2015).

En virtud de lo anteriormente señalado, el objetivo de este trabajo fue elaborar un instrumento que evaluara el funcionamiento ejecutivo de niños y niñas, pero con la consigna que pudiera ser respondido con rapidez por informantes claves, asegurando su validez y confiabilidad para la población local. Los objetivos específicos fueron: (1) evaluar las propiedades psicométricas del instrumento, específicamente, consistencia interna, estabilidad temporal y validez predictiva sobre el rendimiento escolar, (2) analizar la estructura factorial de la Escala de Funcionamiento Ejecutivo y (3) describir los valores de referencia de la EFE para escolares argentinos.

La Escala de Funcionamiento Ejecutivo (EFE) es un instrumento que posibilita un breve screening que, en conjunto con la aplicación de pruebas neuropsicológicas, resulta útil para realizar una valoración final sobre el funcionamiento ejecutivo de un niño. Informa la frecuencia de conductas que pueden presentar los escolares cuando realizan tareas que demandan procesos de control cognitivo, tales como atención, control inhibitorio, planificación, organización, flexibilidad o metacognición.

Método

Participantes

La muestra estuvo conformada por 307 escolares, de ambos sexos, que cursaban de 1º a 4º grado de educación primaria en tres escuelas públicas de gestión estatal de la provincia de Mendoza, Argentina. Del total de los escolares, 148 eran niñas (48.2%) y 159 eran varones (51.8%), con edades comprendidas entre 6 y 10 años (M = 7.69, DE = 1.07). Los niños pertenecían a estratos socioeconómicos medio-bajo (17%) y bajo (83%). Los informantes fueron los docentes de los escolares.

Instrumentos

Escala de Funcionamiento Ejecutivo (EFE) para niños. Este instrumento mide la percepción de padres y docentes sobre el funcionamiento ejecutivo de los niños. En este estudio se empleó la versión docente. La escala está compuesta por 30 ítems agrupados en seis subescalas: control atencional, control inhibitorio, metacognición, organización, planificación y flexibilidad cognitiva. Asimismo, la EFE ofrece una puntuación global del funcionamiento ejecutivo de los niños. Los informantes emplean una escala Likert de tres opciones de respuesta: nunca (0), a veces (1) y frecuentemente (2), para reflejar su percepción del comportamiento del niño. En el Anexo se transcriben los ítems que conforman la escala y se brinda una interpretación de sus puntuaciones.

Notas escolares. Se consideró el promedio escolar anual en Lengua y Matemáticas de 180 niños participantes en el estudio. Esta información se recolectó del registro escolar con previa autorización de las autoridades escolares.

Indicador de nivel socioeconómico (NSE-2006; Comisión de Enlace Institucional, 2006). Este indicador ha sido elaborado a partir de la base de datos proporcionada por la Encuesta Permanente de Hogares de Argentina (Instituto Nacional de Estadísticas y Censos de la República Argentina-INDEC, 2005) y permite identificar la posición socioeconómica de un hogar a partir de combinar datos pertenecientes al nivel educativo y la inserción laboral del principal sostén del hogar (PSH). Esta información se recolectó del registro escolar.

Procedimiento

Este estudio se enmarca en un diseño instrumental que corresponde a aquellos centrados en la adaptación de pruebas o en la medición de características psicómetras de instrumentos (Montero y León, 2005). En consecuencia, se desarrollaron una serie de pasos para dar cumplimiento a los objetivos propuestos.

En primer lugar se confeccionó la EFE para niños. En su construcción se tomó como referencia la Guía de Observación Comportamental (Ison y Fachinelli, 1993) diseñada para evaluar conductas problemas en niños. Esta guía valora inatención, impulsividad, hiperactividad, agresividad y retraimiento infantil desde la percepción del docente y ha sido baremada para escolares argentinos (Ison y Soria, 1997). De este instrumento se conservaron diez ítems, de los cuales cinco miden la frecuencia de conductas de inatención en el niño y los otros cinco valoran la presencia de comportamientos impulsivos. Estos reactivos se consideraron adecuados para medir control atencional y control inhibitorio, respectivamente. Los restantes 20 ítems fueron elaborados ad hoc con base en la teoría de funcionamiento ejecutivo (Collins y Koechlin, 2012; Diamond, 2013; Gioia et al., 2002; Lehto et al., 2003; Lunt et al., 2012; Miyake et al., 2000) con la finalidad de evaluar conductas que manifiesten habilidades de planificación, organización, flexibilidad cognitiva y metacognición en niños. En su construcción se tuvieron en cuenta algunas pautas convencionales tales como 1) redactar ítems congruentes con el objetivo de medición, 2) evitar los ítems demasiado largos, 3) evitar las oraciones complejas con ambigüedades de sentido, 4) evitar las frases con doble negación, 5) evitar el uso de expresiones extremas (nunca, siempre, todos) o 6) utilizar el lenguaje más apropiado al nivel de maduración y educativo de la población meta de la medición (Oesterlind, 1990).

Posteriormente, se realizó un estudio de jueces. En esta fase los ítems redactados fueron revisados por jueces expertos para evaluar la claridad semántica, corrección gramatical, la adecuación al nivel de comprensión de la población en estudio y la congruencia de cada ítem con el constructo teórico medido. Se convocó a seis jueces expertos en evaluación cognitiva en niños. Dos jueces evaluaron la claridad semántica, la corrección gramatical y la adecuación al nivel de comprensión de la población meta. En función de las sugerencias realizadas por los jueces, algunos ítems se modificaron utilizando palabras o frases más simples. Luego, los otros cuatro jueces evaluaron el grado de congruencia entre los ítems de la escala y las descripciones específicas de cada dominio (control atencional, metacognición, control inhibitorio, organización, planificación y flexibilidad cognitiva). Los expertos recibieron la definición conceptual de los dominios de la escala, solicitándoseles que clasificaran cada ítem en el dominio que consideraban adecuado y que precisaran la relevancia del ítem para medir el dominio seleccionado, empleando una escala Likert de cuatro puntos: no relevante (1), poco relevante (2), relevante (3) y muy relevante (4). Para estudiar la validez de constructo del instrumento se emplearon tres indicadores, el índice kappa modificado (k*) y el índice de validez de contenido del ítem (I-CVI) para valorar la validez de contenido de cada ítem y el índice de validez de contenido de la escala con el método promedio de acuerdo entre jueces (S-CVI/Ave) (Polit, Beck y Owen, 2007). Los ítems presentaron una validez de contenido de buena a excelente (k* = .67 a 1.00, I-CVI = .75 a 1.00) y la proporción de acuerdo entre los jueces con base en la relevancia de los ítems alcanzó un valor excelente S-CVI/Ave = .91. En conjunto ambos indicadores informan que la escala presenta una adecuada validez de contenido y que está compuesta, en su mayoría, por ítems en los cuales hubo completo acuerdo entre los jueces sobre su relevancia para medir el constructo de interés y unos pocos en los cuales hubo un modesto desacuerdo. Como resultado de este estudio se obtuvo una escala de 30 enunciados, de los cuales cinco integraron la subescala control atencional, cinco la subescala metacognición, siete la subescala control inhibitorio, seis la subescala organización, cuatro la subescala planificación y tres la subescala flexibilidad cognitiva.

Posteriormente se procedió a la aplicación del instrumento en la muestra. La Dirección General de Escuelas de la Provincia de Mendoza, Argentina y las autoridades de las instituciones educativas participantes brindaron su autorización para desarrollar la investigación en tres instituciones educativas de gestión estatal de Mendoza. Luego, se dialogó con los docentes de 1º a 4º grado de las instituciones participantes, informándoles sobre la importancia de contar con su percepción sobre la conducta cotidiana del niño en el contexto escolar. Se contó con el asentimiento de los docentes para el llenado de las fichas y fueron incluidos en el estudio únicamente los niños que habían sido expresamente autorizados por sus padres para participar en el proyecto. Posteriormente, los docentes respondieron la EFE para cada uno de sus alumnos. Se brindó un plazo de treinta días para el llenado de las fichas y una vez recolectadas en su totalidad se procedió a realizar el estudio de las propiedades psicométricas y de validación del instrumento.

Algunos de los participantes (n = 85) fueron evaluados nuevamente dos meses después a fin de medir la estabilidad de las puntuaciones (test-retest). Finalmente, se extrajo del registro escolar el promedio anual en Lengua y Matemáticas de 180 niños a fin de evaluar la capacidad predictiva de la EFE sobre el rendimiento académico de los participantes.

Análisis de Datos

Se empleó el análisis de valores perdidos del programa SPSS versión 23 para identificar el porcentaje de casos perdidos y los índices de asimetría y curtosis para explorar el cumplimiento del supuesto de normalidad univariada de los 30 ítems en la muestra en estudio. Posteriormente, se analizó la consistencia interna de las seis subescalas que conforman la EFE y de la escala completa, lo que se complementó con un análisis de discriminación de los ítems. La consistencia interna se midió con el estadístico alfa de Cronbach y se empleó el estadístico r de Pearson para medir la magnitud de la correlación ítem- resto del test.

Posteriormente, se realizó un análisis factorial confirmatorio (AFC) a fin de analizar la coherencia y el ajuste del instrumento con la teoría de funcionamiento ejecutivo (Diamond, 2013; Lehto et al., 2003; Lunt et al., 2012; Miyake et al., 2000). Se empleó el software Mplus versión 7 (Muthén y Muthén, 1998-2010) y el método de estimación empleado fue el de mínimos cuadrados ponderados (en inglés, Robust Weighted Least Squares Estimator - WLSMV; Muthén, 1984; Muthén, du Toit y Spisic, 1997). Este método admite distribuciones no normales de los datos y resulta apropiado para el análisis de variables ordinales en tanto emplea correlaciones policóricas y matriz de covarianzas asintóticas, lo que permite corregir los errores estándar y el valor del chi-cuadrado cuando no hay normalidad.

Con el objetivo de evaluar el ajuste del modelo propuesto se emplearon múltiples indicadores. Específicamente, se utilizó el estadístico chi-cuadrado, el índice de ajuste comparativo (CFI), el índice de Tucker-Lewis (TLI) y el error cuadrático medio de aproximación (RMSEA). Para ponderar la bondad de ajuste del modelo se utilizaron los siguientes valores estipulados por la literatura: para los índices CFI y TLI valores entre .90 y .95 o superiores son considerados como ajuste aceptable a excelentes para el modelo (Muthén y Muthén, 1998-2010) y para el caso del RMSEA se esperan valores entre .05 y .08 (Muthén y Muthén, 1998-2010).

Luego se realizó un estudio de test-retest para analizar la estabilidad temporal de la escala. Las correlaciones entre las puntuaciones obtenidas en las dos evaluaciones se realizaron con el estadístico r de Pearson con un valor de significación de .01. Finalmente se exploró la validez predictiva de las dimensiones de la escala sobre el rendimiento escolar de los niños. Para ello se utilizó un análisis de regresión múltiple con el método introducción.

Resultados

Preparación de los Datos

El análisis de los casos perdidos indicó una distribución aleatoria de los mismos (prueba MCAR de Little = 404.48, p = .334) y en ninguno de los ítems de la EFE se superó el valor del 5%. En consecuencia, se procedió a imputar los casos perdidos utilizando el valor de la moda. Posteriormente se analizó la presencia de casos atípicos univariados mediante el cálculo de puntuaciones estándar (Z) para cada uno de los ítems (Tabachnick y Fidell, 2001). No se detectaron casos atípicos debido a que ninguno de los ítems presentó valores superiores a 3.29 (prueba de dos colas, p < .001). Finalmente se obtuvieron los índices de asimetría y curtosis para cada uno de los ítems, observándose que 17 ítems presentaban valores de asimetría y curtosis entre +1 y -1, lo cual es considerado como excelente por la literatura (George y Mallery, 2003). Los 9 ítems restantes registraron índices adecuados de asimetría y curtosis (valores de ±1.4).

Consistencia Interna y Análisis de Ítems

En la primera fase del estudio se exploró la consistencia interna de las seis subescalas y del puntaje global de la EFE, lo que se complementó con el análisis de los ítems. Se obtuvieron valores aceptables de consistencia interna para los seis factores que componen la escala, oscilando entre α = .71 IC 95% [.66, .76] para flexibilidad cognitiva y α = .93 IC 95% [.92, .94] para control inhibitorio. El puntaje para la escala completa arrojó una consistencia interna excelente, .95 IC 95% [.94, .96] (ver Tabla 2).

Seguidamente se realizó el análisis de discriminación de los ítems. De este análisis se observó que la correlaciones ítem-resto del test fueron moderadas en su mayoría y oscilaron entre .21 y .78. Del total de los ítems se registró que 26 presentaron correlaciones moderadas a altas, fluctuando entre .50 y .78; en cambio, los cuatro ítems restantes (ítem 6, ítem 26, ítem 28, ítem 29) presentaron correlaciones más débiles con el resto del test, oscilando entre .21 y .38.

Análisis Factorial Confirmatorio

En la segunda fase del estudio se realizó un análisis factorial confirmatorio a fin de analizar la validez de la estructura factorial del instrumento.

El análisis factorial indicó que el modelo de seis factores presentó un ajuste adecuado a los datos (CFI .96, TLI .95, RMSEA .08). El valor de chi-cuadrado fue estadísticamente significativo, χ² = 1,264.76, p = .00. Los pesos de regresión estandarizados (p < .001) para control atencional oscilaron entre .83 y .97, para metacognición entre .29 y .89, para control inhibitorio entre .77 y .98, para organización entre .66 y .92, para planificación entre .42 y .91 y para flexibilidad cognitiva entre .63 y .91 (ver Tabla 1).

Se registraron correlaciones de moderadas a altas entre los seis factores latentes que componen la escala, oscilando entre .38 y .90. El factor planificación presentó correlaciones elevadas con metacognición (.90) y con control atencional (.87). Asimismo, control atencional presentó una alta correlación con organización (.85) y metacognición (.80). Con base en estos resultados se decidió realizar un análisis factorial de segundo orden a fin de testear si el instrumento elaborado arrojaba una medida global de funciones ejecutivas.

El análisis de segundo orden presentó un ajuste adecuado a los datos, aunque en menor medida que el modelo de seis factores (CFI .94, TLI .93, RMSEA .10). El valor de chi-cuadrado fue estadísticamente significativo, χ² = 1,662.34, p = .00. Los pesos de regresión estandarizados (p < .001) para control atencional oscilaron entre .82 y .97, para metacognición entre .29 y .90, para control inhibitorio entre .77 y .98, para organización entre .66 y .92, para planificación entre .41 y .92, para flexibilidad cognitiva entre .62 y .94 y para el factor general funciones ejecutivas entre .64 y .92 (ver Tabla 1).

Tomando en consideración las altas correlaciones entre los seis factores latentes de la escala y la adecuación moderada del modelo de segundo orden, se decidió realizar un análisis bifactor a fin de valorar la plausibilidad del modelo propuesto. Los resultados obtenidos indicaron un ajuste moderado (CFI .94, TLI .93, RMSEA .10) y señalaron que la solución brindada por el modelo de segundo orden no resulta adecuada, no siendo sostenible la multidimensionalidad del instrumento (ver Tabla 1). En otros términos, sólo sería posible conservar el factor general de funciones ejecutivas que brinda la escala. Esto se debe a que los ítems presentan pesos superiores a .50 en el factor general FE y pesos bajos (menores a .50) en las subescalas (ver Tabla 1). Estos resultados sugieren emplear el puntaje total de la escala.

A continuación se presenta un estudio de estabilidad temporal y otro de validez predictiva de la EFE, en los cuales se expondrán los valores para el puntaje total y para la subescalas, a fin de que futuros estudios dispongan de estos datos en caso de desear replicar estos resultados en otras poblaciones.

Estabilidad Temporal

El estudio de estabilidad temporal luego de dos meses arrojó índices de confiabilidad test-retest adecuados, los cuales oscilaron entre r = .76 y r = .89 para los seis factores. El puntaje de la escala completa alcanzó un índice de estabilidad temporal de r = .94 (ver Tabla 2).

Validez Predictiva

La literatura informa que las FE constituyen uno de los predictores más significativos del rendimiento escolar (Best et al., 2011; Blair, 2013; Fuhs et al., 2014; Ison et al., 2015; Korzeniowski et al., 2016; Schmittmann et al., 2012). En consecuencia, se decidió estudiar la validez predictiva de la EFE sobre el promedio escolar anual de los niños en Lengua y Matemáticas. Para estimar el grado en que cada dimensión de la escala de manera independiente contribuye a explicar el rendimiento escolar de los niños, se realizó un análisis de regresión múltiple (método introducción). Se evaluaron dos modelos explicativos, uno sobre el desempeño en Lengua y otro sobre el desempeño en Matemáticas.

Para el primer modelo se observó el cumplimiento de los supuestos de multicolinealidad IC desde 1.00 a 9.53, tolerancia desde .28 a .54, FIV desde 1.83 a 3.49), distribución normal de los residuos, KS₍₁₇₈₎ = .04, p = .200, independencia de los residuos (DW = 1.98) y homocedasticidad. Los resultados obtenidos indicaron que las dimensiones control atencional y control inhibitorio estuvieron asociadas con el desempeño en Lengua, explicando el 42% de la varianza (ver Tabla 3). En el caso de utilizar el puntaje total de la EFE como único predictor, se observó que esta medida global también se vinculó con el desempeño en Lengua de los participantes (F(176) = 79.79, p < .001; ß = - .56, t = - 8.93, p < .001) y explicó el 31% de la varianza.

En el segundo modelo, se observó el cumplimiento de los supuestos de multicolinealidad IC desde 1.00 a 9.53, tolerancia desde .28 a .54, FIV desde 1.83 a 3.49), distribución normal de los residuos, KS₍₁₇₈₎ = .04, p = .200, independencia de los residuos (DW = 2.05) y homocedasticidad. Los resultados indicaron que control atencional, control inhibitorio y planificación se vincularon con el desempeño en Matemáticas de los niños y explicaron el 40% de la varianza (ver Tabla 3). En el caso de emplear el puntaje total de la EFE como único predictor, se observó que esta medida global también se vinculó con el desempeño en Matemáticas de los participantes (F(176) = 79.79, p < .001; ß = - .56, t = - 8.93, p < .001) y explicó el 29% de la varianza.

Estudio Descriptivo para Escolares Argentinos

Para dar respuesta al tercer objetivo del estudio se presentan los estadísticos descriptivos de la Escala de Funcionamiento Ejecutivo (EFE) versión docente para escolares argentinos. Los resultados que se exponen están contextualizados para escolares de estratos socioeconómico medio-bajo y bajo.

En la Tabla 4 se informan los valores promedios, las desviaciones estándares, los puntajes mínimos y máximos para las seis subescalas y el puntaje total de la EFE. Asimismo se incluyen los cuartiles, a fin de presentar valores de referencia que permitan identificar posibles dificultades en el funcionamiento ejecutivo de los escolares.

Resulta importante actualizar que el puntaje total de la Escala de Funcionamiento Ejecutivo y los puntajes de cuatro subescalas, control atencional, control inhibitorio, organización y flexibilidad cognitiva deben interpretarse teniendo en cuenta que a medida que estos se incrementan disminuye el desempeño, por lo cual el valor correspondiente al percentil 75 indicaría dificultades en dichos procesos cognitivos. En cambio, en los dominios metacognición y planificación, a medida que el puntaje aumenta se incrementa el desempeño, por lo que el percentil 25 señalaría bajo rendimiento.

Discusión

Este estudio se propuso como objetivo elaborar un instrumento que pudiera evaluar el funcionamiento ejecutivo en escolares, mediante la valoración de docentes, acerca de la frecuencia de ciertas conductas que los niños y niñas deben poner en marcha cuando se enfrentan a tareas que demandan esfuerzo cognitivo. Es decir, los llamados procesos de control cognitivo, tales como la capacidad atencional, el control inhibitorio, la organización, la planificación, la metacognición y la flexibilidad cognitiva, que son funciones requeridas en los diferentes contextos de aprendizaje. Se diseñó una escala comportamental en respuesta al propósito de desarrollar un instrumento capaz de otorgar mayor validez ecológica al proceso de evaluación de las funciones ejecutivas en niños.

En relación con los objetivos propuestos se puede señalar que la EFE para niños es un instrumento confiable en cuanto a su consistencia interna, estabilidad temporal y pertinencia al constructo teórico (Diamond, 2013; Lehto et al., 2003; Miyake, et al., 2000). La validez de la estructura interna del instrumento se analizó mediante tres modelos rivales. El modelo de primer orden presentó los mejores índices de ajuste, si bien las altas correlaciones entre los seis factores latentes que componen la escala obligó a inspeccionar la multidimensionalidad del instrumento. En consecuencia, se testeó un modelo de segundo orden y un bifactorial. Ambos modelos indicaron que es posible integrar las seis dimensiones de la EFE en un constructo latente de funcionamiento ejecutivo. Sin embargo, el bifactorial reveló que no es posible sostener la mutidimensionalidad del instrumento, en tanto evidenció que los ítems que componen las seis subescalas cargaron con mayor intensidad en el factor general que en los subfactores, sugiriendo entonces una estructura unidimensional. En consecuencia, sería deseable emplear en futuros estudios la medida global de FE que arroja la escala. Dicha medida presentó una excelente consistencia interna, estabilidad temporal y validez predictiva sobre el rendimiento escolar y, por lo tanto, puede ser considerada como un buen indicador ecológico del funcionamiento ejecutivo de los niños en el contexto escolar.

Si bien se sugiere emplear la medida global de la EFE, se decidió exponer las propiedades psicométricas de las seis subescalas de la EFE a fin de que próximos estudios que se interesen sobre la validez factorial del instrumento puedan contrastar estos datos con muestras más amplias y de diversos contextos socioculturales. Estos resultados indicaron que las seis dimensiones de la EFE presentaron altos valores de consistencia interna y estabilidad temporal, lo que indica que cada una de ellas brinda una medida confiable de la FE que valora. Algunas de estas dimensiones, control atencional, control inhibitorio y planificación presentaron capacidad predictiva sobre el rendimiento académico de los niños participantes, lo que indica que la EFE es un herramienta útil para valorar recursos cognitivos infantiles que involucran los procesos de aprendizaje escolar. Estos resultados se encuentran en línea con un cuerpo de investigaciones (Arroyo, Korzeniowski y Espósito, 2014; Best et al., 2010; Blair, 2013; García-Madruga et al., 2014; Ison y Korzeniowski, 2016; Korzeniowski et al., 2016; Schmittmann et al., 2012; Welsh, Nix, Blair, Bierman y Nelson, 2010) que indican que la atención, el control inhibitorio y las habilidades de planificación son factores predictores de las competencias matemáticas y de lectoescritura en escolares.

En síntesis, se puede señalar que la EFE es un instrumento consistente para medir aspectos conductuales del funcionamiento ejecutivo en escolares argentinos entre 6 a 10 años de edad. Asimismo, es una herramienta ecológicamente válida en tanto valora la percepción de los adultos significativos sobre el comportamiento de los niños en los contextos naturales de desarrollo. En consecuencia, ofrece la posibilidad de enriquecer la evaluación neuropsicológica e incrementar su capacidad predictiva sobre el funcionamiento cotidiano del niño.

Tal como sostiene Tirapu Ustárroz (2007), una de las medidas más utilizadas en la exploración neuropsicológica son los instrumentos capaces de reflejar los cambios que se producen por el paso del tiempo o bien por efecto de los diferentes tratamientos, con el objeto de ir incorporando nuevos elementos o revisar aquellos objetivos que no se están desarrollando de forma satisfactoria. En este sentido, la información que proporciona la Escala de Funcionamiento Ejecutivo puede ser de utilidad para acompañar la exploración neuropsicológica, para la selección de los instrumentos de evaluación más adecuados para cada caso en particular o bien para la valoración de la eficacia de algún dispositivo de intervención según la perspectiva de los adultos.

En evaluación infantil, un principio indiscutible es llevar adelante un proceso multimétodo y multiinformantes (Contini et al., 2009; Goswami, 2015). Esto implica considerar la importancia de la valoración que pueden hacer los adultos significativos sobre las conductas y atributos del niño (Frick et al., 2010). Bajo este marco surge el interés de integrar a la evaluación neuropsicológica la capacidad que presentan los docentes para identificar comportamientos infantiles, funcionales o disfuncionales, relacionados a contextos de aprendizaje. Sin embrago, resulta relevante mencionar que los educadores presentan distinta sensibilidad para la identificación de ciertas conductas. Así, las conductas denominadas “externalizantes”, como el comportamiento impulsivo, son fácilmente identificadas por docentes, en tanto que aquellas denominadas “internalizantes”, tales como el retraimiento social o las conductas de inatención, son informadas con menor frecuencia, ya que en muchos casos pasan inadvertidas a la mirada del adulto. En este sentido la EFE puede ser un guía que oriente la percepción del docente sobre conductas infantiles indicadoras de dificultades en los procesos de control cognitivo. En suma, la información revelada por este instrumento servirá para analizar el funcionamiento ejecutivo del niño en un contexto significativo de interacción y aprendizaje: el ámbito escolar.

El estudio no se encuentra libre de limitaciones. El instrumento estudiado captura la valoración del docente sobre el comportamiento del niño, lo que señala el problema de la percepción subjetiva y de la deseabilidad social. Un modo de superar estas dificultades es planificar una evaluación del funcionamiento ejecutivo infantil que incorpore escalas de comportamiento y tests de rendimiento óptimo.

Los comportamientos infantiles varían de un contexto a otro, por lo cual una evaluación neuropsicológica amplia y ecológica requerirá más de un informante, con miras a triangular datos sobre la evaluación de la conducta del niño, contrastar sus variaciones en diferentes contextos y detectar grados de acuerdo o desacuerdo entre diferentes informantes. En consecuencia, se considera de importancia evaluar las características de la Escala de Funcionamiento Ejecutivo en su versión para padres con el fin de ampliar y contrastar los datos obtenidos en el estudio.

Por otra parte, resulta importante mencionar que en este trabajo se examinó la estructura del instrumento con el método de análisis factorial confirmatorio a fin de valorar el ajuste del mismo con el modelo teórico de funciones ejecutivas propuesto (Diamond, 2013; Lehto et al., 2003; Miyake et al., 2000). De este modo, los reactivos fueron pensados y elaborados con la finalidad de medir seis procesos de control cognitivo interdependientes e interrelacionados. En línea con las críticas que recibe este tipo de técnica de análisis, por su carácter restrictivo (LLoret-Segura, Ferreres-Traves, Hernández-Baeza y Tomás-Marco, 2014), se reconoce como una limitación del estudio proponer una sola estructura y no haber presentado otros modelos posibles. Sin embargo, resulta importante aclarar que mediante la técnica de análisis factorial exploratorio se examinaron varias estructuras del instrumento, observándose que la más adecuada fue la de seis factores, aunque no evidenció la simplicidad esperada. Con base en estos resultados y atendiendo a que es un estudio inicial con una muestra pequeña, se decidió por su simplicidad e interpretabilidad teórica responder a los objetivos del trabajo proponiendo una estructura simple de seis factores para la Escala de Funcionamiento Ejecutivo y un modelo de segundo orden. Si bien ambos modelos presentaron adecuados índices de ajuste, las elevadas intercorrelaciones entre los seis factores propuestos exigieron testear la multidimensionalidad del instrumento. El análisis bifactor reveló una estructura unidimensional de la escala. Con base a estos hallazgos, se recomienda que en futuras investigaciones se amplíe la muestra con el objeto de valorar si la estructura propuesta puede o no mantenerse. De igual modo, los resultados son contextualizados para escolares argentinos de estrato socioeconómico medio-bajo, por lo cual resultaría de gran interés que investigaciones futuras pudieran valorar las propiedades psicométricas de la EFE y su estructura factorial en otras regiones del país, en distintos estratos socioeconómicos y en otros países latinoamericanos.

La EFE es un instrumento modificable, por lo cual en próximos estudios se podría incorporar un conjunto de ítems que permita valorar otras funciones ejecutivas, tales como memoria de trabajo y fluidez verbal. Finalmente, se considera necesario avanzar hacia la validez convergente y concurrente de los factores de la EFE con otros instrumentos validados, así como explorar su valor predictivo sobre otras variables vinculadas al funcionamiento ejecutivo, como aspectos del desarrollo socioemocional o procesos de resiliencia.

Conclusión

Atendiendo a que un adecuado funcionamiento ejecutivo, como factor promotor del desarrollo cognitivo y socioemocional, es un buen predictor de logros académicos, calidad de vida, salud y bienestar, resulta de importancia identificar sus alteraciones en la infancia a fin de iniciar intervenciones tendientes a revertirlas o compensarlas. Las pruebas neuropsicológicas son ampliamente empleadas para tal fin, aunque siguiendo el principio multi-método y multi-informante surge como prioridad disponer de herramientas que midan la percepción de los adultos significativos sobre el comportamiento del niño, a fin de realizar una valoración más amplia y contextualizada sobre el funcionamiento cognitivo infantil. El instrumento diseñado pretende ser una aportación a este propósito, en tanto brinda un breve screening de ciertas conductas que los niños y niñas deben poner en marcha cuando se enfrentan a tareas que demandan esfuerzo cognitivo en contextos de aprendizaje, siendo los informantes los docentes (véase Anexo).

Puntuación e Interpretación

Cada uno de los ítems describe un comportamiento cuya frecuencia de aparición en el niño deberá ser valorada por el informante utilizando tres opciones de respuesta: nunca, a veces y frecuentemente. La escala se puede administrar individual o colectivamente, siendo la duración estimada de 15 minutos.

Para calcular la puntuación de cada subescala se suman los puntos obtenidos en el conjunto de ítems que la integran, valorando que se asigna 0 puntos a la opción nunca, 1 punto a la opción a veces y 2 puntos a frecuentemente.

La subescala control atencional brinda una medida de la capacidad del niño para focalizar y mantener su atención en una tarea o actividad propuesta, evitando que estímulos distractores interfieran en la consecución de la misma. Está compuesta por los ítems 1, 2, 3, 4 y 5. La puntuación posible de esta subescala oscila entre 0 y 10 puntos. Un puntaje de 10 se asociaría con la presencia de conductas de inatención.

La subescala metacognición evalúa la capacidad del niño para monitorear el contenido o proceso de aprendizaje escolar. El monitoreo metacognitivo permite comparar, diagnosticar y evaluar el proceso de aprendizaje o su contenido, induciendo a un feedback reflexivo para modificar la situación en miras a alcanzar la meta propuesta. Este proceso requiere fortaleza afectiva, ya que el niño deberá sentirse confortable con la idea de identificar y reportar sus errores, sus comprensiones parciales y la forma personal de aprender. Compuesta por los ítems 6, 7, 8, 9 y 10, la puntuación de esta escala oscila entre 0 y 10 puntos. Un puntaje de 10 puntos señala que el niño manifiesta con frecuencia monitorear y evaluar su proceso de aprendizaje.

La subescala control inhibitorio mide la capacidad del niño para controlar sus impulsos y regular su conducta en función de las demandas del contexto. Conformada por los ítems 11, 12, 13, 14, 15, 16 y 17, la puntuación de esta escala oscila entre 0 y 14 puntos. Una puntuación de 14 puntos indicaría que el niño presenta dificultades para controlar sus impulsos y regular su comportamiento.

La subescala organización mide la habilidad del niño para ordenar información, acciones y materiales necesarios para llevar a cabo una tarea. Permite valorar la capacidad del niño para mantener el orden en sus pertinencias y realizar sus tareas escolares de manera prolija y ordenada. Compuesta por los ítems 18, 19, 20, 21, 22 y 23, su puntuación oscila entre 0 y 12 puntos. Un puntaje cercano a 12 señala dificultades de organización en el niño.

La subescala planificación, compuesta por los ítems 24, 25, 26 y 27, mide la habilidad del niño para anticipar sucesos futuros, elaborar metas y secuenciar los pasos necesarios para conseguirlas. La puntuación de esta escala oscila entre 0 y 8 puntos. A medida que el puntaje se aproxima al máximo valor señala que el niño presenta buenas habilidades para planificar su conducta.

La subescala flexibilidad cognitiva mide la habilidad del niño para ajustarse a los cambios de hábitos y rutinas, buscar diferentes soluciones a los problemas y valorar distintos puntos de vista. Compuesta por los tres últimos ítems, la puntuación oscila entre 0 y 6. A medida que el puntaje se aproxima a 6 indica dificultades para adaptarse a los cambios.

El puntaje de la escala completa brinda una medida global del funcionamiento ejecutivo. Compuesta por 30 ítems, para obtener dicho puntaje resulta necesario invertir la escala de valoración de los ítems que componen el factor metacognición y planificación (0 = 2, 1 = 1 y 2 = 0). La puntuación oscila entre 0 y 60. A medida que el puntaje se aproxima a 60 indica dificultades en los procesos de control cognitivo.

Extended Summary

Executive functions (EF) refer to a set of cognitive control skills regulating and directing actions, thoughts, and emotions in goal-pursuit or problem-solving (Diamond, 2013). Executive functions involve a set of higher-order processes, like inhibitory control, working memory, cognitive flexibility, planning, and metacognition. They work jointly in goal achievement and allow self-regulated, flexible, and creative behavior that is adaptable to the environment’s changing scenario (Diamond, 2013; Lehto, Juujärvi, Kooistra, & Pulkkinen, 2003; Miyake, Friedman, Emerson, Witzki, & Howerter, 2000).

EF are basic skills for cognitive, social, and emotional development during childhood (Diamond & Ling, 2016; Lipina & Evers, 2017). Additionally, their adequate functioning stands as a good predictor of academic achievements (Blair, 2013; Ison, Greco, Korzeniowski, & Morelato, 2015; Korzeniowski, 2015; Schmittmann, van der Maas, & Raijmakers, 2012). Longitudinal studies have documented that an adequate EF developmental pathway during childhood helps predict improved academic performance, improved employment status, improved quality of life, and a lower incidence of behavioral disorders during adolescence and adulthood (Berthelsen, Hayes, White, & Williams, 2017; Moffitt et al., 2011). As a consequence, identifying alterations in EF developmental pathways, with a view to implementing early and efficient interventions, represents one of the current challenges in child neuropsychology.

Over the last years, there has been increasing interest in developing neuropsychological assessment protocols with ecological validity (Bombín-González et al., 2014), in the quest for a broad and contextualized assessment of children’s cognitive functioning that may respond to the multi-method and multi-informant principle (Contini, Figueroa, Cohen Imach, & Coronel, 2009). In this scenario, it becomes necessary to complement the diagnostic information provided by an array of tests with instruments that may collect information on children’s daily functioning. Behavior inventories achieve this purpose, as they offer a description of EF behavioral manifestations in children in their natural contexts of development, like home or school (Gioia, Isquith, Guy, & Kenworthy, 2000). Multiple behavior scales of executive functions have been designed and validated (Achenbach,1991; Delis, 2012; Gioia et al., 2000; Sadeh, Burns, & Sullivan, 2012). However, only few have been adapted and scaled to the Latin American child population. Because of this, the goal of this study was to craft an ecologically valid and reliable assessment instrument of schoolchildren’s performance in tasks demanding cognitive control. The specific goals were: (1) to assess the psychometric properties of the instrument, more specifically, its internal consistency, temporal stability, and predictive validity for school performance, (2) to analyze the factorial structure behind the Executive Functioning Scale (EFS), and (3) to present the EFS’ reference values for Argentine children.

The sample included 307 schoolchildren, male and female, between 6 and 10 years of age, belonging to the middle-low SES (17%) and low SES (83%). The instrument used was the EFS for children, which may assess parents’ or teachers’ perception of children’s executive functioning. In this study, the teachers’ version was used.

Steps were taken in order to achieve these goals by means of instrument design. Firstly, the new EFS was designed to preserve 10 items from the Behavioral Observation Guideline (in Spanish, Guía de Observación Comportamental; Ison & Fachinelli, 1993), five of which measure the frequency of inattention behaviors in children, while the other five assess the occurrence of impulsive behaviors. The remaining 20 items were developed ad hoc in order to assess the behaviors that may be indicative of children’s planning, organization, cognitive flexibility, and metacognition skills. After that, a panel of judges assessed the instrument for semantic clarity, grammatical accuracy, adequacy to the target population’s comprehension level, and consistency between each item and the theoretical construct being measured. Two coefficients were used to study the construct validity of the instrument: the modified kappa coefficient (k*) and the average method of agreement among judges (S-CVI/Ave) (Polit, Beck, & Owen, 2007). The items presented a good to excellent content validity (k* = .67 to 1.00) and the proportion of agreement among the expert judges (n = 4) reached an excellent value S-CVI/Ave = .91. A scale was obtained containing 30 statements and six dimensions: attentional control, metacognition, inhibitory control, organization, planning, and cognitive flexibility.

The instrument was then applied in three primary schools in the province of Mendoza, Argentina, after due authorization was issued by the General School Bureau, the authorities of the participating school institutions, and written consent by the parents authorizing their children’s participation in the study. The informants were the children’s teachers, who expressed their consent verbally and filled out the scales within a 30-day span. Once the scales were collected, the psychometric property and instrument validation study began. Some of the participants (n = 85) were re-evaluated two months later in order to measure score stability (test-retest). Finally, the annual Language and Math averages of 180 participants were collected from school records in order to evaluate the EFS predictive validity of children’s school performance.

The results obtained in this study indicated that the EFS is a reliable instrument in terms of internal consistency, temporal stability, and relevance to the theoretical construct (Diamond, 2013; Lehto et al., 2003; Miyake et al., 2000). The validity of the internal structure of the instrument was analyzed by three rival models. The first order model presented the best adjustment indexes (CFI = .96, TLI = .95, and RMSEA = .08), though the high correlations between the six latent factors forced to inspect the multidimensionality of the instrument. Consequently, a second-order (CFI = .94, TLI = .93, and RMSEA = .10) and a bifactor model (CFI = .94, TLI = .93, and RMSEA = .10) were tested. Both models indicated that it is possible to integrate the six dimensions of the EFS into a latent construct of executive functioning. However, the bifactorial revealed that it is not possible to sustain the mutidimensionality of the instrument. In future studies the score of the full scale should be used. The analysis of the psychometric properties revealed that the score of the full scale showed excellent internal consistency (a = .95) and temporal stability (r = .94). Finally, it has been observed that the score of the full scale show predictive validity of children’s school performance, accounting for 31% of the variance in performance in Language, F₍₁₇₆₎ = 79.79, p < .001, and 29% of the variance in performance in Math, F₍₁₇₆₎ = 74.63, p < .001, among the participants.

On the basis of these results, it may be pointed out that the EFS is a reliable instrument to measure the frequency of behaviors that schoolchildren may display when performing tasks that demand cognitive control processes such as attentional control, inhibitory control, planning, organization, metacognition, and cognitive flexibility. Furthermore, the scale offers predictive ability for academic performance, which suggests it may be useful as a tool to assess the cognitive resources involved in children’s learning processes as required by the school system. Finally, it may be pointed out that the EFS represents an ecologically valid tool to measure children’s behaviors in their natural contexts of development, such as their home or school, and where their parents or teachers act as informants. Following the multi-method and multi-informant principle in child assessment (Contini et al., 2009), the designed instrument may positively be deemed useful to complement and increase the ecological validity of neuropsychological diagnoses. Additionally, given its conciseness, the instrument may be used to assess the effects of intervention programs, contrast the degree of agreement among multiple informants, and assess cognitive development from a variety of angles.

The results have been contextualized for Argentine schoolchildren. Future research assessing EFS psychometric properties and their factorial structure in other Latin American countries would be of great interest. Finally, the need is evident to move towards a convergent and concurrent validity of EFS factors and other validated EF scales.