Validez Predictiva e Igualdad de Trato de la “Oposición” como Método de Selección para Inspectores de Hacienda y Técnicos de Hacienda del Estado

Introducción

La selección de personal, tanto en las organizaciones privadas como en el sector público, desde hace décadas ha venido empleando un amplio número de procedimientos y técnicas para tomar las decisiones de contratación (Salgado y Moscoso, 2008; Schmidt y Hunter, 1998). Entre dichos procedimientos y técnicas, las entrevistas, las pruebas profesionales, los cuestionarios de personalidad, los tests de conocimiento, la experiencia y los tests cognitivos suelen ser los usados con más frecuencia en el sector privado y también en algunas ocasiones forman parte de los procesos selectivos en el sector público (ver, por ejemplo, Moscoso, et al., 2017; Sackett, et al., 2022; Salgado et al., 2017). Esta profusión de métodos y técnicas se ha visto acompañada por un número extraordinariamente elevado de estudios empíricos, algunos realizados en España (p. ej., Alonso et al., 2009; 2018; Berges, 2011; Berges et al., 2018; Lado y Alonso, 2017; Rodríguez y López-Basterra, 2018; Salgado et al., 2007), que han sido llevados a cabo para determinar si dichos procedimientos tienen capacidad predictiva suficiente del desempeño de los aspirantes en el futuro puesto de trabajo. Igualmente, numerosos meta-análisis han establecido la validez predictiva de tales procedimientos (véase, por ejemplo, Salgado, 2017; Salgado y Moscoso, 2019; Schmidt y Hunter, 1998). Sin embargo, entre tales estudios empíricos de validez predictiva existe un vacío total en lo que se refiere a la forma más tradicional de selección de personal en el sector público en España: la “oposición”.

El acceso al empleo público, es decir, a los puestos de trabajo al servicio de las Administraciones Públicas (AAPP) españolas se ha hecho tradicionalmente mediante el método que se conoce como “oposición” y que con tal denominación figura en las leyes administrativas españolas (p. ej., Ley 7/2007, del Estatuto Básico de Empleado Público). Este método de selección de personal se ha aplicado y se sigue aplicando en las tres grandes administraciones públicas: La Administración General del Estado (AGE), las Administraciones Autonómicas (AAAA) y las Administraciones Locales (AALL). Cada año son cientos de miles de personas las que participan como aspirantes en los procesos de selección a los puestos de la oferta pública de empleo para las AAPP. Este dato es indicativo de la importancia que las “oposiciones” tienen para el conjunto de los aspirantes.

A pesar de lo anterior, de una forma recurrente a lo largo de las últimas décadas, el sistema de “oposiciones” para el acceso a la AAPP, ha sido criticado tanto por los aspirantes como por los responsables de la gestión del empleo público (p. ej., ministros de AAPP, diputados y senadores de diferentes partidos). Por ejemplo, se le acusa de ser un método (a) en el que predominan las pruebas memorísticas, (b) que no indica realmente si el aspirante desempeñará bien o no el puesto de trabajo, (c) que no tiene en cuenta aspectos verdaderamente relevantes del contenido del puesto, (d) que no permite juzgar la comprensión de los conocimientos, (e) que tiene poco en cuenta la capacidad, la aptitud y la actitud, (f ) que tienen muchos ejercicios, algunos redundantes, (g) que no valoran las competencias de las personas aspirantes, (h) que algunas oposiciones tienen una duración excesiva (hay casos de más de dos años), (i) que pueden tener un excesivo coste de preparación para los aspirantes, lo que podría producir desigualdad social (Iceta, 2021; Presidencia del Gobierno, 2021; Sánchez-García Gómez, 2021). Todo ello ha llevado a que se intenten buscar alternativas al método de la “oposición”.

No obstante, también ha habido defensores del método, que sostienen que las oposiciones aseguran la profesionalidad e independencia del empleado público (aspecto ya planteado por Max Weber en su análisis de la burocracia), tienen mayores garantías de neutralidad y objetividad, mérito y capacidad, permiten movilidad social y generan confianza en la sociedad (p. ej., Martín Seco, 2020, 2021).

La “oposición” como método de selección se ha aplicado y se sigue aplicando en todos los niveles, categorías y puestos de trabajo correspondientes a todas las AAPP. Por ejemplo, se emplea para el acceso a los cuerpos superiores (p. ej., inspectores de Hacienda, abogados del Estado, técnicos comerciales, jueces, comisarios de policía, registradores de la propiedad, fiscales, jefes de servicio de las universidades, interventores y auditores del Estado, secretarios de ayuntamiento, médicos, etc.), se emplea para el acceso a los cuerpos medios (p. ej., técnicos de Hacienda, inspectores de policía, jefaturas de sección y negociado, etc.) y también para los cuerpos inferiores (p. ej., personal administrativo, policía local, bomberos, personal auxiliar, etc.)

No obstante, aunque por lo común se hace referencia a la “oposición” como si fuese un método de selección único, lo cierto es que bajo el paraguas de “oposición” se incluye una variedad de procedimientos, métodos y técnicas. Por ejemplo, algunas “oposiciones” consisten simplemente en uno o varios ejercicios o tests de conocimientos del puesto o para el puesto, otras incluyen, junto con a los anteriores, pruebas físicas (p. ej., en el caso de policías y bomberos), otras incluyen pruebas prácticas (p. ej., inspectores de hacienda y abogados del estado), otras incluyen tests de inteligencia, de aptitudes y de personalidad, algunas incluyen entrevistas de selección y otras oposiciones incluyen algunas pruebas más. También, las hay que incluyen un conjunto de todas las anteriores pruebas.

Otra particularidad de las oposiciones es que algunas se realizan en un único momento, mientras que otras se caracterizan por el hecho de que los aspirantes tienen que ir superando una serie de ejercicios o tests, lo que en el lenguaje más técnico de la selección de personal se conoce como el nombre de “obstáculos múltiples” (multiple hurdles).

Otra peculiaridad es el procedimiento que se emplea para obtener la puntuación en la “oposición” y su dicotomización final, es decir, aprobado o suspenso. Algunas oposiciones se fundamentan en lo que técnicamente se denomina un “proceso compensatorio”, mediante el cual las puntuaciones bajas en una prueba se compensan con las puntuaciones más altas en otra. Otras emplean un proceso “no compensatorio” o de “cortes múltiples”, mediante el cual es necesario obtener una puntuación mínima (puntuación de corte) en algunas o todas las pruebas para pasar a la fase siguiente o para que se pueda obtener un aprobado.

Cada una de estas variedades de “oposición” tiene sus propias ventajas, pero también impone limitaciones en los procesos selectivos. El coste del proceso, el tiempo requerido para tomar una decisión, los recursos selectivos necesarios (p. ej., número de pruebas, número de evaluadores) o las instalaciones para efectuar los “exámenes” son algunos de los aspectos que diferencian unas “oposiciones” de otras.

Sin embargo, el punto más crítico de toda oposición es su validez predictiva, es decir, el grado en que las puntuaciones obtenidas en las pruebas o tests de la oposición son capaces de predecir los resultados posteriores en los cursos formativos y en el desempeño en el puesto de trabajo. En su forma más sencilla, la validez de un procedimiento de selección de personal (p. ej., una “oposición”, un test de inteligencia cognitiva, una prueba práctica, una entrevista, etc.) se realiza mediante una comparación entre la clasificación de los aspirantes en el procedimiento selectivo y la posterior clasificación de los aspirantes en los resultados de los cursos formativos o en la evaluación del desempeño en el trabajo de quienes superaron el proceso selectivo. Técnicamente, las pruebas incluidas en la “oposición” se denominan “predictores” y los resultados del curso de formación o los resultados de la evaluación del desempeño se denominan “criterios”.

Tal comparación se efectúa calculando el coeficiente de correlación entre las puntuaciones obtenidas en cada uno los predictores y las puntuaciones en el criterio empleado (correlación bivariada) para el conjunto de aspirantes que superaron el proceso selectivo y acudieron al curso formativo y posteriormente se incorporaron al puesto de trabajo. Cuando el número de predictores son dos o más y se establece una puntuación compuesta a partir de ellos para cada aspirante, la correlación entre las puntuaciones del conjunto de predictores y el criterio viene dada por el coeficiente de correlación múltiple (correlación multivariada). El coeficiente de correlación bivariada puede matemáticamente tener valores que oscilan entre -1 y +1 (en términos absolutos, cuando no se tiene en cuenta el signo, los valores oscilan entre 0 y 1). Los valores de la correlación múltiple matemáticamente pueden oscilar entre 0 y 1. En la práctica de la selección de personal hay acuerdo entre los investigadores en que los coeficientes de correlación bivariada o múltiple (en términos absolutos) inferiores a .10 son indicadores de una muy baja validez, los que se encuentran entre .10 y .20 indican una baja validez, los que se encuentran entre .20 y .30 indican una validez moderada, los que se encuentran entre .30 y .40 son indicadores de un buena validez y entre .40 y .50 (o superiores) son indicadores de una validez excelente. En la selección de personal, en promedio, raramente se encuentran valores de validez bivariada superiores a .50 (ver, por ejemplo, Moscoso et al., 2017; Sackett et al., 2022; Salgado et al., 2017, Schmidt y Hunter, 1998, para una relación de valores promedio de validez de los procedimientos de selección).

Como indican Sackett et al. (2022), la validación de los procedimientos de selección tiene como objetivo la estimación de la validez operativa del predictor (la “oposición”, en el presente caso) en una muestra de aspirantes, usando una medida del criterio libre de error de medida. Señalan Sackett et al. (2022) que las estimaciones de la validez observada son subestimaciones cuando se produce restricción en el rango en las puntuaciones del predictor (es decir un rango de puntuaciones más estrecho en las puntuaciones del predictor en la muestra de validación que en la muestra de candidatos) y error de medida en el criterio. Para obtener estimadores más precisos de la validez operativa se deben emplear fórmulas para la corrección por restricción en el rango y por error de medida en el criterio y tales fórmulas están disponibles desde los primeros años de la psicometría (Pearson, 1902; Schmidt y Hunter, 2015).

Establecer la validez predictiva de las “oposiciones” a los cuerpos superiores de la administración civil del Estado es, por tanto, una cuestión no suficientemente examinada y que requiere estudios empíricos. En consecuencia, estimar la validez predictiva de las oposiciones es el primer objetivo de esta investigación en relación con las “oposiciones” y es la primera aportación única de este artículo.

Las bases de las convocatorias para el acceso a los cuerpos superiores de la Administración General de Estado (p. ej., inspectores de Hacienda, judicatura, inspectores de trabajo, técnicos de Hacienda) indican que para ser funcionario de carrera es preciso superar el curso selectivo. Dicho de otro modo, quien no supera el curso selectivo no se convierte en funcionario de carrera, aunque haya aprobado la oposición. Por lo tanto, la aprobación del curso selectivo se convierte en el “criterio último” de acceso a la función pública. Por esto mismo, la validez de las oposiciones deberá ser estimada en función de grado de predicción de dicho criterio, es decir, de las calificaciones en el curso selectivo. Hasta ahora no se ha publicado en España y, que este investigador conozca, no se ha realizado ningún estudio de validez predictiva de las oposiciones como método de acceso a los cuerpos superiores de la función pública.

Una segunda cuestión de importancia se refiere al ajuste de las oposiciones a los requerimientos de no discriminación por razón de sexo (en particular lo que se refiere a la discriminación directa e indirecta) que estipula la Constitución y la Ley 7/2007 del Estatuto Básico del Empleado Público, además de las recientes leyes que han sido aprobadas en materia de igual entre hombres y mujeres, por ejemplo, la Ley integral para la igualdad de trato y la no discriminación, la Ley de empleo, la Ley orgánica sobre derechos de los extranjeros, la Ley general sobre derechos de las personas con discapacidad, la Ley para igualdad efectiva de mujeres y hombres o la Ley del estatuto marco del personal estatutario de los servicios de salud, entre otras recientes. A las anteriores disposiciones legales habría que añadir el conjunto de normativa de la Unión Europea al respecto, por ejemplo, la Directiva 2000/43/CE sobre el trato igual de las personas con independencia de su origen étnico o racial, Directiva 97/80/CE sobre la carga de la prueba, la Directiva 2002/73/CE sobre los principios de igual tratamiento de hombres y mujeres en el acceso al empleo, la formación y la promoción profesional, la Directiva 2006/54/CE sobre la igualdad de oportunidades e igual trato entre hombres y mujeres en asuntos de empleo.

En este conjunto de disposiciones legales, por ejemplo, en el artículo 6 de la Ley 3/2007 referido a los conceptos de discriminación directa e indirecta, se define discriminación directa como la situación en la que una persona o un grupo protegido por la ley es, directa y explícitamente, excluido o rechazado en un proceso de selección debido a su pertenencia a dicho grupo. Por ejemplo, sería discriminación directa cuando una mujer es rechazada para un puesto por ser mujer (ver por ejemplo el caso Solvay). La discriminación indirecta ocurriría cuando una norma, criterio o práctica, aparentemente neutra, produce o puede producir una desventaja particular para una o varias personas pertenecientes a un grupo protegido (p. ej., hombres y mujeres). La definición de discriminación indirecta está estrechamente relacionada con el concepto de impacto adverso y, con frecuencia, requiere evidencia estadística para ser establecido.

Igualmente, el artículo 55 de la Ley 3/2007 indica que se debe hacer un informe del impacto de género. El informe de impacto de género no puede quedar en un mero examen de las proporciones de hombres y mujeres que son admitidos, aprobados en la oposición y aprobados en los cursos, sino que tendrá que indicar también cuál es el tamaño del efecto de las posibles diferencias, aunque la legislación española no específica una regla o método general para evaluar la presencia de discriminación indirecta e impacto adverso. Por ejemplo, la Ley 15/2022, art 25.1 establece que la protección contra la discriminación requiere la aplicación de métodos e instrumentos suficientes para su detección. Por tanto, los tribunales de justicia pueden admitir cualquier tipo de evidencia de la existencia de discriminación indirecta, pero la forma más robusta y precisa es a través de la evidencia estadística.

Además de ser un requisito legal, el examen de la potencial discriminación indirecta viene sugerido por recientes resultados que han examinado esta cuestión en relación con los sistemas de valoración de méritos y experiencia empleados en la AAPP española (ver Alonso et al., 2009) que han encontrado que, en algunos casos, este procedimiento puede ocasionar discriminación indirecta contra las mujeres.

Actualmente, el método más empleado para establecer si hay evidencia o no de discriminación indirecta es mediante el uso del estadístico de tamaño del efecto d de Cohen (1977). Matemáticamente, el valor mínimo de la d de Cohen es 0, lo que indica la ausencia total de discriminación (ausencia efecto). Cohen (1977) ha sugerido que los valores de d inferiores a .20 son indicativos de un tamaño de efecto pequeño o muy pequeño o incluso nulo (si el valor es cero), mayores de .20 y hasta .40 serían tamaños de efecto moderados, entre .60 y .80 serían tamaños de efecto grandes y más de .80 serían tamaños de efecto muy grandes. Desde el punto de vista de la discriminación indirecta, lo deseable por tanto es que el valor de d sea inferior a .20 y se aproxime a 0.

La cuestión importante es que, a pesar de la obligación legal existente, no existe ningún estudio publicado (al menos en mi conocimiento) en que se haya examinado la potencial discriminación indirecta en las oposiciones a los cuerpos superiores de la administración pública. El estudio de Alonso et al. (2009) es uno de los escasos estudios existentes en España sobre esta cuestión, pero no se refiere a las oposiciones a los cuerpos superiores. Por tanto, el examen de la posible discriminación y evidencia de impacto adverso es el segundo objetivo de esta investigación y será la segunda aportación única de la misma.

En resumen, esta investigación tiene como objetivo examinar empíricamente ambas cuestiones, proporcionando estimadores (a) de la validez predictiva de las oposiciones al Cuerpo Superior de Inspectores de Hacienda y al Cuerpo de Técnicos de Hacienda y (b) de ausencia de discriminación por razón de sexo en dichas oposiciones. A tal efecto se han hecho dos estudios empíricos independientes, el primero referido a las oposiciones al Cuerpo de Técnicos de Hacienda y el segundo referido a las oposiciones al Cuerpo Superior de Inspectores de Hacienda.

Estudio 1: Validez de la “oposición” para predecir los resultados en el curso de formación para el Cuerpo de Técnicos de Hacienda.

Método

Muestra

Varios miles de candidatos fueron admitidos a la primera prueba de la oposición. Se desconoce el número exacto de aspirantes presentados, porque la Presidencia de la Agencia Estatal de Administración Tributaria solo informó del número de candidatos que había superado el primer ejercicio. Un total de 992 candidatos correspondientes al turno libre superaron el primer ejercicio. Los candidatos correspondientes al turno de promoción interna estaban exentos de la realización del primer examen.

La muestra de validación la componen todos los candidatos que superaron todos los ejercicios de la oposición y, por tanto, que estaban en condiciones de participar en el curso formativo de Técnicos de Hacienda. La muestra total estuvo compuesta por 392 candidatos, de los cuales 347 corresponden al turno de acceso libre y 45 corresponden al turno de promoción interna.

Oposición

La oposición consistió en tres ejercicios, con un total de cinco pruebas, cuyos contenidos y bases estaban regulados por la Resolución 11542, de 29 de septiembre de 2017, de la Presidencia de la Agencia Estatal de Administración Tributaria, por la que se convocaba el proceso selectivo para el ingreso, por el sistema de acceso libre y promoción interna, en el Cuerpo Técnico de Hacienda (BOE, núm. 243, 9 octubre de 2017, p. 98251-98276).

El primer ejercicio constaba de dos partes. La primera consistió en 24 preguntas de Derecho Civil y Mercantil, Economía y Derecho Constitucional y Administrativo. La segunda parte consistió en una prueba escrita en un idioma extranjero elegido por el candidato. El segundo ejercicio consistió en la resolución de cinco supuestos prácticos de Contabilidad y Matemática Financiera. El tercer ejercicio constaba de dos partes. La primera consistió en un cuestionario de 24 preguntas de Derecho Financiero y Tributario español. La segunda parte consistió en desarrollar por escrito un tema elegido al azar de Derecho Financiero y Tributario español. Posteriormente, dicho tema tenía que ser leído por el candidato, en sesión pública, ante el tribunal examinador. La puntuación máxima del primer ejercicio era de 23 puntos, la del segundo 30 puntos y la del tercero 40 puntos. Por tanto, la puntuación máxima alcanzable era de 93 puntos. Cada uno de los ejercicios tenía una puntuación mínima de corte, así, en el primero ejercicio era necesario obtener al menos 10 puntos en la primera prueba. En el segundo ejercicio era necesario obtener al menos 15 puntos. En el tercero se requerían al menos 20 puntos, no pudiendo obtener menos de 8 puntos en cualquiera de las dos partes del ejercicio.

La calificación final de la oposición es la suma de las calificaciones obtenidas en cada uno de los tres ejercicios. Aquellos candidatos que superaron la oposición tenían derecho a la participación en un curso selectivo.

La fiabilidad de la puntuación de la oposición se calculó mediante la fórmula para la fiabilidad de un compuesto (Nunnally, 1978; Schmidt y Hunter, 2015) y empleando la muestra de validación, para la cual se conocen las puntuaciones en cada uno de los ejercicios. La fiabilidad de la oposición resultó r_xx = .80.

Criterio

La puntuación final en el curso de formación (“curso selectivo”), de una duración de cuatro meses, se ha utilizado como criterio en el presente estudio de validez. El curso de formación estuvo organizado, dirigido, impartido y evaluado por el Instituto de Estudios Fiscales. Según la resolución de la Presidencia de la Agencia Estatal de Administración Tributaria, el contenido del curso tiene “como finalidad primordial la adquisición de conocimientos en orden a la preparación específica de los aspirantes para el ejercicio de las funciones propias del Cuerpo Técnico de Hacienda” (BOE nº 284, 26 de noviembre de 2019, p. 129716).

La calificación máxima del curso era de 50 puntos, correspondientes a la suma de la puntuación máxima posible en cada una de las asignaturas del curso. Para aprobar el curso se tenían que obtener al menos 25 y haber aprobado todas las asignaturas. El curso consistió en diez asignaturas: (1) impuesto sobre el valor añadido, (2) impuesto sobre sociedades, (3) impuestos especiales, (4) procedimiento inspector, (5) infracciones y sanciones, (6) procedimiento de gestión, (7) procedimiento de recaudación, (8) derechos y procedimientos aduaneros, (9) procedimiento de revisión y (10) fiscalidad internacional. Además, constaba de diversas sesiones puntuables referidas a aplicaciones informáticas y de cinco seminarios puntuables referidos a recursos humanos, organización de la AEAT, igualdad de género, auditoría informática y derecho tributario.

La fiabilidad de la puntuación del curso de formación se obtuvo mediante la fórmula del coeficiente de fiabilidad de un compuesto (Nunnally, 1978), empleando las diez puntuaciones correspondientes a las asignaturas del curso. El coeficiente de fiabilidad resultó r_yy = .82.

Restricción en el Rango del Predictor (Oposición): Un elemento importante para establecer la validez predictiva de la oposición es conocer el grado de restricción en el rango del predictor, es decir, la “oposición”. Para estimar el grado de restricción en el rango es preciso conocer la desviación estándar (sd_ap) del grupo de aprobados en la oposición (grupo de validación o grupo restringido) en el primer ejercicio y la desviación estándar (SD_T) del grupo de total aspirantes (aprobados y suspensos) que se presentaron al primer ejercicio (grupo no restringido). La sd_ap en el primer ejercicio del grupo de aprobados en la oposición es de 1.44. La SD_T del grupo total de aspirantes no es conocida, pero se puede estimar a través de la desviación estándar (SD₁) del grupo de aspirantes que aprobaron el primer ejercicio (N = 992). Este grupo de aspirantes mostró una SD₁ en el primer ejercicio igual a 1.55. Por tanto, este valor corresponde a la desviación estándar de la mitad de la muestra, asumiendo una distribución normal. Si, de un modo conservador, asumimos que existe una truncación en la puntuación de los suspensos y que no hay calificaciones inferiores al centil 25, es decir, que la puntuación mínima es igual a la correspondiente al centil 25 de la distribución de aprobados más la distribución de suspensos, esto permite estimar que la SD para toda la muestra sería 1.74 en el primer ejercicio. En consecuencia, el coeficiente de homogeneidad o valor de restricción en el rango es U = (1.74 / 1.44) = 1.208. En ocasiones el valor de restricción en el rango se representa por la inversa del coeficiente de homogeneidad (u), que en este caso sería .827, lo que indica una moderada restricción en el rango en la distribución de las puntuaciones de los aprobados en la oposición.

La restricción en el rango en el grupo de promoción interna se estimó de un modo semejante, pero empleando las calificaciones del segundo ejercicio. El valor de U es igual a 1.05 (u = .95), lo que indica que apenas ha habido restricción en el rango en este grupo.

Resultados

La Tabla 1 muestra los estadísticos descriptivos de la puntuación en los ejercicios de la oposición y en el curso de formación y el número de participantes que aprobaron la oposición. También figuran en la Tabla 1 los estadísticos descriptivos de la puntuación en los ejercicios de la oposición y en el curso para los aspirantes del turno libre y de turno de promoción interna.

No se apreciaron diferencias significativas en la puntuación de los ejercicios entre los participantes del turno libre y los participantes del tuno de promoción interna. Por lo que respecta a la puntuación en el curso formativo, los aspirantes del turno libre han puntuado dos puntos por encima de los aspirantes de promoción interna y esta diferencia es estadísticamente significativa (t = 3.11, GL = 390; p <.01; d = .31), indicando que, en promedio, los aspirantes del turno libre puntúan un tercio de desviación estándar por encima de los aspirantes del turno de promoción interna.

La Tabla 2 muestra los resultados de la correlación observada (r) y de la validez operativa (ρ) para el total de los aspirantes aprobados, para los candidatos del turno libre y para los candidatos de turno de promoción interna. Como puede verse, la correlación observada es de un tamaño notable para el turno libre, pero especialmente grande para el turno de promoción interna. La magnitud de estas correlaciones observadas sitúa por sí misma al método de oposición como un excelente sistema para predecir los resultados del curso de formación. Para toda la muestra, la correlación observada es de .43.

Sin embargo, como se indicó en la introducción de este artículo, el estadístico más adecuado es la validez operativa (ρ), esto es, la correlación observada corregida por los efectos del error de media en el criterio (fiabilidad del curso de formación) y por la restricción en el rango de las puntuaciones del predictor (puntuación en los ejercicios de la oposición). Para llevar a cabo el cálculo de la validez operativa, en primer lugar se corrigió la correlación observada por la fiabilidad de curso de formación empleando la fórmula de Spearman (Guilford y Fruchter, 1965):

El resultado obtenido, es decir, la correlación corregida por error de medida (r_EM), se corrigió a su vez empleando la fórmula del Caso II de Thorndike (Guilford y Fruchter, 1965) para la restricción directa en el predictor, con lo que se obtiene la validez operativa (ρ). En el presente caso, la fórmula es:

Como puede verse en la Tabla 2, la validez operativa para la muestra total tiene un valor ρ = .54 (N = 392), lo que indica que la puntuación total en los ejercicios de la oposición tiene una excelente validez para predecir el resultado del curso de formación. El tamaño de la validez operativa ha sido incluso mucho mejor en el caso de los aspirantes del turno de promoción interna, para los cuales ρ = .61 (N = 45), es decir que el tamaño de la validez operativa ha sido un 15% superior en este grupo que en el de los aspirantes del turno libre.

Estos resultados dan respuesta al primer objetivo propuesto para esta investigación, es decir, la validez predictiva de la oposición. Cualquiera de las tres estimaciones de la validez operativa presentadas en la Tabla 2 indica que la “oposición” es un excelente método de selección de personal para el Cuerpo de Técnicos de Hacienda y que su validez es comparable a la de los mejores procedimientos y métodos de selección empleados en el sector privado y en el sector público, tanto en España como en el extranjero (ver Hunter y Hunter, 1984; Moscoso et al., 2017; Sackett et al., 2022; Salgado y Moscoso, 2008; y Schmidt y Hunter, 1998, para comparar los valores obtenidos en este estudio con los valores de la validez operativa de los métodos y procedimientos de selección más empleados).

Por lo que respecta al segundo objetivo, el examen de la igualdad de trato entre hombres y mujeres en términos de discriminación indirecta e impacto adverso, la Tabla 3 muestra los estadísticos descriptivos de la puntuación total de los ejercicios de la oposición y del curso de formación para hombres y mujeres en el turno libre y en el de promoción interna.

En la Tabla 4 figuran los valores del estadístico t de Student para la comparación de la diferencia entre la puntuación media del grupo de hombres y el de mujeres en la puntuación total de los ejercicios de la oposición y en la puntuación del curso en los aspirantes del turno de promoción libre y de promoción interna. Como puede verse, ninguno de los valores de la t de Student ha sido estadísticamente significativo, lo que indica que no puede rechazarse la hipótesis nula de las diferencias entre hombres y mujeres y, en consecuencia, las pequeñas diferencias observadas en las puntuaciones medias pueden ser atribuidas a las variaciones de muestreo debidas al azar. Así pues, se puede descartar que la puntuación de los ejercicios de la oposición favorezca a hombres o mujeres, más allá de lo esperable por azar y esto es aplicable tanto a los aspirantes del turno libre como a los del turno de promoción interna. A la misma conclusión se llega con respecto a las puntuaciones en el curso de formación, ya que los valores del estadístico t de Student han sido aún más pequeños y no significativos que los obtenidos para la puntuación en los ejercicios de la oposición.

Por lo que respecta al estadístico d de Cohen del tamaño del efecto, todos sus valores han sido pequeños o muy pequeños, oscilando entre .11 y .18 (d promedio = .14 para la oposición y d promedio =.12 para el curso) lo que indica que tienen escasa relevancia práctica y que la presencia de discriminación indirecta y de impacto adverso es descartable en el presente caso.

Discusión

Esto estudio tenía dos objetivos principales. El primero era examinar la validez predictiva de la oposición para el Cuerpo de Técnico de Hacienda y el segundo determinar si la puntuaciones en la oposición o en el curso de formación presentaban algún grado de impacto adverso y/o discriminación indirecta contra hombres y mujeres. Estos dos objetivos son novedosos ya que, hasta el presente, no existe publicado ningún estudio que aporte evidencia empírica sobre los mismos.

Por lo que respecta al primer objetivo, indudablemente, la oposición ha demostrado ser un excelente predictor de los resultados de los aspirantes en el curso de formación, mostrando un valor de validez operativa muy elevado, tanto para los candidatos del turno libre como para los del turno de promoción interna. La magnitud de la validez operativa en este estudio es del mismo nivel o incluso superior a la encontrada en la literatura científica para los mejores predictores, por ejemplo, para los test cognitivos (Hunter y Hunter, 1984; Salgado y Moscoso, 2019; Salgado et al, 2003), la entrevista conductual estructurada (McDaniel et al., 1994; Moscoso, 2000), los test de conocimientos del puesto (Hunter y Hunter, 1994; Schmidt y Hunter, 1998), o los test de personalidad de elección forzosa quasi-ipsativos (Martínez et al., 2021, 2022; Otero et al,. 2020; Salgado et al., 2015) y muy superior a la demostrada por otros métodos ampliamente utilizados como las entrevistas no estructuradas (Hunter y Hunter, 1984), los biodata (García-Izquierdo et al., 2020; Schmidt y Hunter, 1998), los test de muestras de trabajo (Roth et al., 2005), los test de juicio situacional (Roth, et al., 2013), las valoraciones de méritos y experiencia (Alonso et al., 2009; Schmidt y Hunter, 1998) o los assessment center (Glauger et al. 1997), por citar algunos de ellos.

En relación con el segundo objetivo, no hay evidencia empírica de que la oposición produzca diferencias estadísticamente significativas en las puntuaciones de hombres y mujeres ni en los ejercicios de la oposición ni en los del curso de formación, siendo los tamaños del efecto encontrados de una magnitud muy pequeña, lo que permite afirmar que no son de relevancia práctica. Por tanto, estos resultados permiten concluir que no existe evidencia de impacto adverso ni discriminación indirecta por razón de sexo en el presente estudio.

Para finalizar, es importante señalar que el criterio empleado en este estudio, los resultados del curso de formación, aunque relevante desde el punto de vista profesional, no agota el dominio del criterio, ya que el curso formativo informa sobre el grado de conocimiento adquirido por los aspirantes que superaron la oposición, pero no informa sobre otros aspectos relevantes de carácter profesional. A este respecto, datos sobre el desempeño de los candidatos en el puesto de trabajo serían también necesarios para establecer la validez predictiva de la oposición para predecir el desempeño profesional y sus dimensiones, es decir, el desempeño de tarea, cívico, creativo y organizacional. La obtención de tales datos requeriría una evaluación del desempeño en el puesto de trabajo, que por las características del estudio no estaba disponible.

Estudio 2: Validez de la “Oposición” para predecir los resultados en el curso de formación para el Cuerpo Superior de Inspectores de Hacienda.

Método

Muestra

La muestra de validación la componen todos los candidatos correspondientes al turno de acceso libre que superaron todos los ejercicios de la oposición y que, por tanto, estaban en condiciones de participar en el curso formativo para el Cuerpo Superior de Inspectores de Hacienda. La muestra total estuvo compuesta por 70 candidatos, de los cuales 35 eran hombres y 35 mujeres.

Oposición

La oposición consistió en cinco ejercicios eliminatorios cada uno de ellos, con una total de 190 temas, junto con temas no especificados correspondientes a conocimientos de Contabilidad y Matemática Financiera, cuyos contenidos y bases están regulados por la Resolución 16974, de 19 de Noviembre de 2019, de la Presidencia de la Agencia Estatal de Administración Tributaria, por la que se convocaba el proceso selectivo para el ingreso en el Cuerpo Técnico de Hacienda (BOE, núm. 284, 26 de noviembre de 2019, p. 129705-129733).

El primer ejercicio consistió en responder por escrito a un cuestionario de 14 preguntas, referidas a Derecho Civil, Mercantil, Economía General y Economía de la Empresa, con una duración de 4 horas. El segundo ejercicio consistió en la resolución de un supuesto práctico de Contabilidad y Matemáticas Financieras, con un tiempo de cuatro horas. El tercer ejercicio constaba de dos partes, ambas eliminatorias. La primera parte consistió en la resolución de un supuesto práctico profesional referido a aspectos jurídicos y/o contables, con una duración máxima de cuatro horas. La segunda parte consistió en una prueba de conocimientos de los idiomas inglés, francés o alemán, a elección del aspirante y con una duración de 75 minutos. El cuarto ejercicio consistió en la exposición oral, en sesión pública y durante un tiempo máximo de 60 minutos, de cuatro temas extraídos al azar del programa de la oposición; de ellos dos de los temas eran de Derecho Constitucional y Administrativo, uno de Hacienda Pública y otro del Sistema Fiscal Español. El tiempo de la prueba tenía que repartirse de modo aproximadamente igual para cada tema. El quinto ejercicio consistió en la exposición oral, en sesión pública y durante un tiempo máximo de 45 minutos, de tres temas extraídos al azar del programa de la oposición, de los cuales un tema era de la “Parte General de Procedimientos Tributarios”, otro de la “Parte Especial I” y otro de la “Parte Especial II”.

La calificación de los dos primeros ejercicios podía ser “apto”, “apto consolidado” y “no apto”, siendo necesario un apto o un apto consolidado para pasar a la siguiente fase. El tercer ejercicio se puntuaba de 0 a 25 puntos la primera parte y de 0 a 5 la segunda parte, siendo necesarios al menos 12.5 puntos en la primera parte y 2.5 en la segunda para pasar a la siguiente fase. La puntuación del ejercicio era la suma de las dos partes. El cuarto ejercicio se puntuó de 0 a 40 puntos, siendo necesario al menos 20 puntos para superarlo. El quinto ejercicio se puntuó de 0 a 30 puntos, siendo necesario al menos 15 puntos para superarlo. La puntuación final de la oposición consistió en la suma de la puntuación de los ejercicios tercero, cuarto y quinto.

La fiabilidad de la puntuación de la oposición se ha asumido que es semejante a la obtenida en la oposición de Técnicos de Hacienda (r_xx = .80).

Criterio

La puntuación final en el curso de formación (“curso selectivo”), de una duración de 12 meses lectivos, se ha utilizado como criterio en el presente estudio de validez. El curso de formación estuvo organizado, dirigido, impartido y evaluado por el Instituto de Estudios Fiscales, en coordinación con la Agencia Estatal de Administración Tributaria. Según la resolución de la Presidencia de la Agencia Estatal de Administración Tributaria, el contenido de curso tiene “como finalidad primordial la adquisición de conocimientos en orden a la preparación específica de los aspirantes para el ejercicio de las funciones propias del Cuerpo Superior de Inspectores de Hacienda del Estado” (BOE nº 282, 28 noviembre de 2018, p. 113487).

La calificación del curso podía variar entre 0 y 100 puntos, para el total de materias, siendo necesario para superarlo un mínimo de 50 puntos y no haber obtenido en ninguna asignatura una puntuación inferior a 5 puntos sobre 10.

Dado que la puntuación en cada una de las asignaturas del curso no estaba disponible, la fiabilidad de la puntuación final del curso no ha se podido calcular. En consecuencia, se ha asumido que la fiabilidad de la puntuación el curso de formación es similar a la del curso para Técnicos de Hacienda y, por tanto, se ha empleado un coeficiente de fiabilidad de r_yy = .82.

Procedimiento Analítico

Los datos publicados fueron el resultado de los aprobados en los ejercicios y el ranking de aprobados en la oposición. Los resultados de la oposición (el ranking) no separaron la puntuación en el curso selectivo y en los ejercicios de la oposición. Al estar basado el ranking final, en parte, en la puntuación obtenida en los ejercicios de la oposición, resulta que la correlación entre la puntuación en los ejercicios y el ranking final producirá un coeficiente de correlación sobreestimado (inflado) debido a la presencia de la puntuación de los ejercicios en el resultado de la oposición. Por tanto, para calcular la correlación (validez) exacta entre la puntuación en los ejercicios y la puntuación en el curso de formación es preciso utilizar la fórmula de correlación de la parte con el todo, una vez la parte ha sido excluida del todo. Dicha fórmula ha sido publicada por Guilford y Fruchter (1965, p. 299) y es la siguiente:

La fórmula anterior requiere conocer la desviación estándar de la puntuación en los ejercicios de la oposición y la desviación estándar total. De acuerdo con las bases de la convocatoria, la puntuación de los ejercicios serán el 65% de la puntuación total, por lo que la desviación estándar total (SD_t) de la oposición es igual a 8.19/.65=12.6.

Como en el caso de la oposición para Técnico de Hacienda, además de la validez observada se ha calculado la validez operativa que se estima como la validez observada corregida por la fiabilidad del criterio y la restricción en el rango del predictor. En el presente caso, se ha empleado el mismo valor de restricción en el rango utilizado en el estudio previo, es decir u = .82 y el mismo valor de fiabilidad r_yy= .82 obtenida en el curso de Técnicos de Hacienda.

Resultados

Con la salvedad referida a que se ha empleado la fórmula anterior para estimar la correlación observada, el resto de los análisis estadísticos efectuados son del mismo tipo que los realizados en el estudio anterior. Así, la Tabla 5 presenta los estadísticos descriptivos de la puntuación en los ejercicios de la oposición para el conjunto de aprobados y también para el grupo de hombres y el de mujeres.

Como puede observarse, en la puntuación final en la oposición, el grupo de hombres aspirantes ha puntuado en promedio ligeramente por debajo del grupo de mujeres (70.96 frente a 73.05), sin que esta diferencia sea estadísticamente significativa (t = 1.36, p > .10), lo que no permite descartar la hipótesis nula de ausencia de diferencias entre hombres y mujeres.

Por lo que se refiere a la correlación observada y a la validez operativa para la puntuación en la oposición y la puntuación en el curso de formación, los resultados aparecen reflejados en la Tabla 6. La correlación observada ha sido calculada según se indicó en el apartado de procedimiento analítico de la sección de método, empleando la fórmula allí descrita. La validez operativa ha sido calculada corrigiendo la correlación observada por la fiabilidad del criterio (r_yy = .82) y por la restricción en el rango de la puntuación en los ejercicios de la oposición (u = .82) empleando las dos primeras fórmulas presentadas en este articulo.

En el caso de la presente oposición para el Cuerpo Superior de Inspectores de Hacienda del Estado, la validez operativa ha sido semejante a la encontrada en el estudio anterior y puede calificarse de excelente (ρ = .50), lo que indica que esta oposición ha sido un magnifico predictor de los resultados del curso de formación y que el tamaño de la validez operativa es de nivel semejante al de los mejores procedimientos de selección.

Por lo que se refiere al examen de discriminación indirecta e impacto adverso, la comparación entre las puntuaciones de hombres y mujeres resulta en una d de Cohen igual a .33, que indica que existe una moderada diferencia en el tamaño del efecto y que tal diferencia es favorable al grupo de mujeres, aunque los efectos prácticos de este ligero impacto adverso contra los hombres son de escasa cuantía (un máximo de 2 puntos para el total de la puntuación en la oposición de 72 puntos en promedio).

Discusión

Al igual que el estudio anterior, el presente también es una contribución a la literatura científica ya que es el primero que se realiza en España para examinar la validez de la oposición a uno de los Cuerpos superiores de la Administración Pública. Como ocurría con el caso anterior, no hay disponible ningún estudio publicado que presente evidencia empírica de la validez predictiva de la oposición para el Cuerpo de Inspectores de Hacienda. Tampoco existe ningún estudio que haya examinado el impacto adverso y la potencial discriminación indirecta de esta oposición. En este sentido, estas son las dos grandes aportaciones científicas de este estudio, es decir la estimación de la validez predictiva de la oposición y establecer la magnitud del potencial impacto adverso.

Al igual que ocurrió en el estudio anterior, la oposición ha demostrado ser un excelente predictor de los resultados del curso de formación y el tamaño de la validez operativa fue también semejante al anterior, por lo que es aplicable aquí lo dicho con anterioridad al comparar la validez de la oposición con la validez de otros instrumentos y procedimientos de selección. Del mismo modo, lo señalado en relación con la ausencia de impacto adverso y discriminación indirecta en la oposición para Técnicos de Hacienda es aplicable en esta oposición para Inspectores de Hacienda, indicando que la oposición es fundamentalmente neutra en cuanto a la igualdad de trato en hombres y mujeres.

También se aplican a esta oposición las consideraciones relativas a la naturaleza del criterio (resultados del curso de formación) y a la necesidad de ampliar los estudios con otras medidas del desempeño profesional (p. ej., desempeño de tarea, cívico o contraproductivo), que permitan establecer si la oposición es igualmente válida para predecir el desempeño en el puesto de trabajo y los potenciales progresos de carrera (p. ej., ascensos).

Discusión General

Una primera conclusión general extraíble de los dos estudios de validez predictiva que se han presentado en este artículo es que el método de “oposiciones”, al menos en los referente al Cuerpo Superior de Inspectores de Hacienda del Estado y al Cuerpo de Técnicos de Hacienda, es válido para predecir el futuro éxito en el curso de formación y el acceso a la carrera funcionarial. Además, ambos estudios han demostrado que el método de “oposición” presenta un tamaño de validez muy elevada, comparable a los mejores procedimientos y métodos de selección empleados en el sector privado (p. ej., tests cognitivos, entrevistas conductuales estructuradas, tests de personalidad quasi-ipsativos de elección forzosa, entre otros), e incluso muy superior a muchos de ellos (p. ej., entrevistas no estructuradas o semiestructuradas, assessment center, valoraciones de méritos, etc.), según puede comprobarse acudiendo a la literatura pertinente (p. ej., Moscoso et al., 2017; Sackett et al., 2022; Schmidt y Hunter, 1998).

Una segunda conclusión es que, dado que la magnitud de la validez del método de “oposición” es tan elevada, cualquier nuevo procedimiento, método o examen que se proponga como sustituto de la “oposición” deberá acreditar que es al menos tan fiable y, sobre todo, con igual o superior validez predictiva.

Una tercera conclusión se refiere a la neutralidad de la oposición en relación con la igualdad de trato para hombres y mujeres, tanto en lo referente a la puntuación de los ejercicios de la oposición como a los resultados de los cursos formativos, lo que descarta la presencia de impacto adverso y discriminación indirecta por razón de sexo.

Estos son los dos primeros estudios científicos que se realizan para establecer la validez predictiva de la oposición como método para el acceso a dos Cuerpos Superiores de la AAPP española, por lo que la realización de más estudios y la aportación de nueva evidencia empírica sería muy recomendable. Los nuevos estudios deberían estar enfocados con una triple perspectiva.

Primero, para estos mismos Cuerpos, se deberían realizar nuevos estudios en los que además de emplear los resultados del curso de formación como criterio, se emplease una evaluación del desempeño en el trabajo y sus dimensiones, para poder establecer el grado de validez para estos nuevos criterios. Segundo, es conveniente que se realicen nuevos estudios sobre la validez de la oposición para otros Cuerpos superiores (p. ej., magistratura, abogacía del Estado o inspectores de Trabajo, entre otros) porque, hasta el momento, no hay evidencia de que la validez obtenida de la oposición a un cuerpo específico sea generalizable a otros cuerpos. Tales estudios son completamente necesarios para poder establecer la generalización de la validez de la oposición como método de selección de personal para la AAPP española. Tercero, es igualmente conveniente que los nuevos estudios examinen la igualdad de trato para hombres y mujeres, pero también para otros grupos y personas protegidos por la ley, para que pueda establecerse de un modo más robusto el grado en que las oposiciones no presentan impacto adverso ni discriminación indirecta.

Estas conclusiones no suponen que el método de “oposición” no tenga limitaciones o que, al menos, no pueda ser mejorable. Indudablemente, algunos aspectos del mismo pueden ser mejorados, tales como el exceso de tiempo requerido para la corrección de las pruebas o el empleo de sistemas de corrección demasiado abiertos, que podrían ser ventajosamente reemplazados por sistemas de corrección más automatizados. Igualmente, el método podría ser suplementado con el uso de técnicas que han demostrado una elevada validez predictiva, tales como las entrevistas conductuales, los tests de inteligencia cognitiva o los tests de personalidad, que ampliarían el conjunto de factores examinados, más allá del conocimiento técnico profesional evaluado por la “oposición”.

La necesidad de suplementar el método de “oposición” resulta más evidente si se tiene en cuenta que el desempeño en el puesto de trabajo no consiste sólo en el desempeño de tarea, sino también en desempeño cívico, creativo e innovador y en la ausencia de comportamientos contraproductivos, que no son predichos o anticipados por las puntuaciones en la oposición.

En resumen, los dos estudios realizados indican que el método de la oposición es un excelente predictor de los resultados del curso formativo, comparable o superior a los mejores instrumentos y procedimientos de selección de personal, y que muestra igualdad de trato para hombres y mujeres. La sustitución del método de “oposición” por otro método alternativo requeriría que previamente se haya demostrado que tal o tales métodos muestran un validez igual o superior y que son igualitarios en el trato para hombres y mujeres.

Extended Summary

Access to public employment, i.e., to jobs in the service of the Spanish Public Administration (AAPP) has traditionally been by means of the method known as “competition” or “competitive examination” or “oposición” in Spanish, which it is called in Spanish administrative law (e.g., Law 7/2007, of the Basic Statute of the Public Employee). This method of personnel selection has been and continues to be applied in the three large public administrations: The General State Administration (AGE), the Autonomous Administrations (AAUU) and the Local Administrations (AALL). Every year, hundreds of thousands of people participate as applicants in the selection processes for the public employment positions made available in the Public Administrations. This figure is indicative of the importance of the “competitive examinations” for all applicants.

Despite the above, the “competition” system for access to the Public Administration has been repeatedly criticized over the last decades, both by applicants and by those responsible for public employment management (e.g., ministers of the Public Administration, deputies and senators of different parties). For example, it is accused of being a method (a) dominated by rote tests, (b) that does not really indicate whether or not the applicant will perform well in the job, (c) that does not take into account truly relevant aspects of the content of the job, (d) that does not allow us to judge the understanding of knowledge, (e) that takes little account of capacity, aptitude and attitude, (f ) that has many exercises, some of which are redundant; (g) that does not value the competencies of the candidates; (h) that many competitions are too long (there are cases which last more than two years), and (i) that the cost of preparation for the candidates is excessive, which could lead to social inequality (Iceta, 2021; Presidency of the Government, 2021; Sánchez-García Gómez, 2021). All of this has led to attempts to find alternatives to the “competition” method. However, there have also been defenders of the method, who argue that competitive examinations ensure the professionalism and independence of the public employee (an argument already supported by Max Weber), and that the method has greater guarantees of neutrality and objectivity, merit and ability, allowing for social mobility and generating trust in society (e.g., Martín Seco, 2020, 2021).

There are two pending issues in relation to competitive examinations. First, so far, no study has been published in Spain on the predictive validity of competitive examinations as a method of access to the Higher Corps of the civil administration of the State, and therefore empirical evidence of their effectiveness is required. The second issue is that, despite the existing legal obligation, there is no published study that has examined the potential for indirect discrimination and adverse impact in competitive civil service examinations.

This research aims to examine empirically both issues, providing estimators (a) of the predictive validity of the competitive examinations for the Senior Corps of Treasury Inspectors and the Corps of Treasury Technicians and (b) of the absence of discrimination on the basis of sex in these examinations. To this end, two independent empirical studies have been carried out, the first one referring to the competitive examinations for the Corps of Treasury Technicians and the second one referring to the competitive examinations for the Senior Corps of Treasury Inspectors.

Study 1: Validity of the “Competition” for Predicting Results in the Training Course for the Corps of Treasury Technicians.

Method

Sample

Several thousand candidates were admitted to the first test of the competitive examination. The exact number of candidates presented is unknown, because the Presidency of the State Agency of Tax Administration only reported the number of candidates who had passed the first exercise. A total of 992 candidates corresponding to the open access category passed the first exercise. The candidates corresponding to the internal promotion category were exempted from the first exam.

The validation sample is made up of all the candidates who passed all the exercises of the competitive examination and, therefore, were able to participate in the training course for Treasury Technicians. The total sample consisted of 392 candidates, of which 347 were open access candidates and 45 were internal promotion candidates.

Competition

The competitive examination consisted of three exercises, with a total of five tests. The first exercise consisted of two parts. The first part consisted of 24 questions on Civil and Commercial Law, Economics and Constitutional and Administrative Law. The second part was a written test in a foreign language chosen by the candidate. The second exercise involved the resolution of five practical problems of Accounting and Financial Mathematics. The third exercise consisted of two parts. The first part consisted of a questionnaire of 24 questions on Spanish Financial and Tax Law. The second part required the writing of an essay on a randomly chosen topic on the Spanish Financial and Tax system. The final grade of the competitive examination is the sum of the grades obtained in each of the three exercises. Those candidates who passed the examination were entitled to participate in a selective course. The reliability of the competition was r_xx = .80.

Criterion

The final score in the training course (“selective course”), lasting four months, was used as the criterion in the present validity study. The training course was organized, conducted, delivered and evaluated by the Institute for Fiscal Studies. According to the resolution of the Presidency of the State Tax Administration Agency, the course content has “the primary purpose of acquiring knowledge in order to specifically prepare candidates for the exercise of the functions of the Technical Treasury Corps”.

Results

Table 1 shows the descriptive statistics of the score in the exercises of the competitive examination and in the training course and the number of participants who passed the selection process. Table 1 also shows the descriptive statistics of the scores in the exercises of the competitive examination and in the course for the candidates of the open access category and the internal promotion category.

There were no significant differences in the scores in the exercises between the participants in the open access category and the participants in the internal promotion category. Regarding the score in the training course, the open access category candidates scored two points higher than the internal promotion candidates and this difference is statistically significant (t = 3.11, GL = 390; p <.01; d = .31), indicating that, on average, the open access category candidates scored one third of a standard deviation higher than the internal promotion candidates.

Table 2 shows the results of the observed correlation (r) and of the operational validity (ρ) for the total number of successful candidates, for the open access category candidates and for the internal promotion category candidates. As can be seen, the observed correlation is for the open access category, but especially large for the internal promotion category. The magnitude of these observed correlations shows that the competitive examination method is an excellent system for predicting the results of the training course. For the entire sample, the observed correlation is .43.

The operational validity for the total sample shows a value of ρ = .54 (N = 392), indicating that the total score in the competitive examination exercises has excellent validity for predicting the outcome of the training course. The size of the operational validity was even better in the case of the applicants of the internal promotion category, for whom ρ = .61 (N = 45), i.e., the size of the operational validity was 15% higher in this group than in that of the applicants of the open access category.

These results provide an answer to the first objective proposed for this research, i.e., to estimate the predictive validity of the competition. All of the estimates of operational validity presented in Table 2 indicate that the “competition” is an excellent method of personnel selection for the Corps of Treasury Technicians and that its validity is comparable to that of the best selection procedures and methods employed in both the private and public sector, in Spain and abroad (see Hunter & Hunter, 1984; Moscoso et al., 2017; Sackett et al., 2022; Salgado & Moscoso, 2008, and Schmidt & Hunter, 1998, to compare the values obtained in this study with the values of the operational validity of the most widely employed selection methods and procedures).

With regard to the second objective, the examination of equal treatment between men and women in terms of indirect discrimination and adverse impact, Table 3 shows the descriptive statistics of the total score in the competitive examination exercises and in the training course for men and women in the open and internal promotion categories.

Table 4 shows the values of the Student’s t-statistic for the comparison of the difference between the mean score of the men’s and women’s groups in the total score of the competitive examination exercises and in the score of the course for the open access and internal promotion candidates. As can be seen, none of the Student’s t values was statistically significant, which indicates that the null hypothesis of differences between men and women cannot be rejected and, consequently, the small differences observed in the mean scores can be attributed to sampling variations due to chance. Thus, it can be ruled out that the scoring of the competitive examination exercises favors men or women, beyond what is to be expected by chance, and this is applicable to both open access and internal promotion candidates. The same conclusion can be reached with respect to the scores in the training course, since the values of the Student’s t-statistic were even smaller than those obtained for the scores in the competitive examination exercises.

Regarding Cohen’s d statistic for effect size, all values were small or very small, ranging from .11 to .18, indicating that they have little practical relevance and that the presence of indirect discrimination and adverse impact can be ruled out in the present case.

Study 2: Validity of the “Competition” for Predicting the Results in the Training Course for the Superior Corps of Treasury Inspectors

Method

Sample

The validation sample was composed of all the candidates corresponding to the open access category who passed all the exercises of the competitive examination and, therefore, were able to participate in the training course for the Senior Corps of Treasury Inspectors. The total sample consisted of 70 candidates, of which 35 were men and 35 were women.

Competition

The competitive examination consisted of five eliminatory exercises each, with a total of 190 topics, together with unspecified topics corresponding to knowledge of Accounting and Financial Mathematics, whose contents and bases are regulated by Resolution 16974, of November 19, 2019, of the Presidency of the State Agency of Tax Administration, for the convening of the selective process for entry into the Senior Corps of Treasury Inspector (BOE, no. 284, November 26, 2019, p. 129705-129733).

The first exercise consisted of a written answer to a questionnaire of 14 questions, referring to Civil Law, Commercial Law, General Economics and Business Economics, with a duration of 4 hours. The second exercise involved the resolution of a practical problem of Accounting and Financial Mathematics, with a time of four hours. The third exercise consisted of two parts, both of which were eliminatory. The first part consisted of the resolution of a professional practical problem referring to legal and/or accounting topics, with a maximum duration of four hours. The second part consisted of a test of knowledge of the candidate’s choice of English, French or German, lasting 75 minutes. The fourth exercise consisted of an oral presentation, in a public session, and for a maximum of 60 minutes, of four subjects taken at random from the competition program, two of which were on Constitutional and Administrative Law, one on Public Finance, and the other on the Spanish Tax System. The time of the test had to be distributed approximately equally for each topic. The fifth exercise consisted of the oral presentation, in a public session, and for a maximum time of 45 minutes, of three topics taken at random from the competition program, of which one topic was from the “General Part of Tax Procedures”, another from the “Special Part I” and another from the “Special Part II”.

The qualification of the first two exercises could be “apt”, “consolidated apt” and “not apt”, being necessary an “apt” or a “consolidated apt” to pass to the next phase. The third exercise was scored from 0 to 25 points in the first part and from 0 to 5 in the second part, being necessary at least 12.5 points in the first part and 2.5 in the second part to pass to the next phase. The score of the exercise was the sum of the two parts. The fourth exercise was scored from 0 to 40 points, being necessary at least 20 points in order to pass. The fifth exercise was scored from 0 to 30 points, being necessary at least 15 points in order to pass. The final score of the competition consisted of the sum of the scores of the third, fourth and fifth exercises. The reliability of the score for the competition has been assumed to be similar to that obtained in the Treasury Technician competition (r_xx = .80).

Criterion

The final score in the selective training course (“curso selectivo”), which lasted 12 months, was used as the criterion in this validity study. The training course was organized, directed, given, and evaluated by the Institute of Fiscal Studies, in coordination with the State Agency of Tax Administration. The grade for the course could vary between 0 and 100 points, for the total number of subjects, being necessary to pass the course a minimum of 50 points and not having obtained in any subject a score lower than 5 points out of 10. Since the score in each of the subjects of the course is not available, the reliability of the final score of the course could not be calculated. Consequently, it has been assumed that the reliability of the score for the training course is similar to that of the Treasury Technician course and, therefore, a reliability coefficient of r_yy = .82 has been used.

Analytical Procedure

The published data were the results of those who passed the exercises and the ranking of those who passed the competition. The results of the competition (the ranking) did not separate the scores in the selective course and in the exercises. As the final ranking is based, in part, on the score in the competitive examination exercises, it turns out that the correlation between the score in the exercises and the final ranking will produce an overestimated (inflated) correlation coefficient due to the presence of the score in the exercises in the final result of the competition (ranking). Therefore, to calculate the exact correlation (validity) between the score in the exercises and the score in the training course it is necessary to use the formula provided by Guilford and Fruchter (1965, p. 299) for correlation of the part with the whole, once the part has been excluded from the whole.

As in the case of the tax technician examination, in addition to the observed validity, the operational validity has been calculated, which has been estimated as the observed validity corrected for the reliability of the criterion and the restriction in the range of the predictor. In the present case, the same range restriction value used in the previous study was used, i.e., u = .82 and the same reliability value r_yy= .82 obtained in the Tax Technician course.

Results

With the exception that the above-mentioned formula was used to estimate the observed correlation, the rest of the statistical analyses performed are of the same type as those carried out in the previous study. Thus, Table 5 presents the descriptive statistics of the scores in the exercises of the competition for the group of successful candidates and for the group of men and the group of women, separately.

As can be seen, in the final score of the competition, the group of male candidates scored on average slightly lower than the group of women (70.96 vs. 73.05), without this difference being statistically significant (t = 1.36, p > .10), which does not allow us to discard the null hypothesis of the absence of differences between men and women.

Concerning the observed correlation and operational validity for the score in the exercises of the competition and the score in the training course, the results are shown in Table 6. In the current case, the operational validity was similar to that found in the previous study and can be rated as excellent (ρ = .50), which indicates that this competition was an excellent predictor of the results of the training course and that the size of the operational validity is at a similar level to that of the best selection procedures.

As for the indirect discrimination and adverse impact test, the comparison between the male and female scores results in a Cohen’s d of .33, indicating that there is a moderate difference in effect size and that the difference is in favor of the female group, although the practical effects of this slight adverse impact on men are small (a maximum of 2 points for the total average 72-point test score).

General Discussion

A first general conclusion to be drawn from the two predictive validity studies presented in this paper is that the “competitive examination” method, at least for the Senior Corps of State Treasury Inspectors and the Corps of Treasury Technicians, is valid for predicting future success in the training course and access to civil service careers. In addition, both studies provided strong evidence that the “competition “ method shows very high operational validity, comparable to the best selection procedures used in the private sector (e.g. cognitive tests, structured behavioral interviews, quasi-ipsative forced-choice personality tests, among others), and even far superior to many of them (e.g., conventional interviews, assessment centers, merit-rating assessments, etc.), as can be verified by turning to the relevant literature (e.g., Moscoso et al., 2017; Sackett et al., 2022; Schmidt & Hunter, 1998).

A second conclusion is that because the magnitude of the validity of the “competition” method is so high, any new procedure, method, or test that is proposed as a substitute for the “competition” must be credited with being at least as reliable and, above all, with having equal or superior predictive validity.

A third relevant conclusion is that the “competition” method is fairly robust against indirect discrimination and adverse impact for men and women.

These conclusions do not imply that the “competition” method has no limitations or at least that it cannot be improved. Undoubtedly, some aspects of it could be improved, such as the excessive time required to correct the tests or the use of overly open scoring systems, which could be advantageously replaced by more automatized scoring systems. Likewise, the method could be supplemented with the use of techniques that have demonstrated high predictive validity, such as behavioral interviews, cognitive intelligence tests or forced-choice personality tests, which would broaden the set of factors examined, beyond the professional technical knowledge evaluated by the “competition”.

The need to supplement the “competitive examination” method becomes more evident if one takes into account that job performance does not consist only of task performance, but also of civic, creative and innovative performance and absence of counterproductive behaviors, which are not predicted or anticipated by the scores in the competitive examination.