Poder determinar que un instrumento predice un comportamiento como la violencia o la reincidencia es uno de los principales objetivos de la psicología jurídica. La validez predictiva, como se conoce a ésta, permite evaluar esta característica. Este tipo de validez ha sido evaluada a través de diversas técnicas, como las tablas de contingencia, sensibilidad, especificidad y las curvas ROC. Sin embargo, estás técnicas no abordan un problema estadístico importante: la censura de los datos que ocurre en los estudios prospectivos, ya que en muchas ocasiones lo sujetos no reincidirán durante parte del seguimiento realizado. El análisis de supervivencia es una técnica que permite tomar en consideración esta información y modelar el tiempo hasta que sucede un determinado evento. A través de diferentes aproximaciones, como sus técnicas descriptivas o la regresión de riesgos proporcionales de Cox, esta técnica nos permite evaluar el poder predictivo de las pruebas, así como de las intervenciones.
Being able to determine that an instrument predicts behavior such as violence or recidivism is one of the main objectives of legal psychology. Predictive validity, as it is known, allows evaluating this characteristic. This type of validity has been evaluated through various techniques, such as contingency tables, sensitivity, specificity, and ROC curves. However, these techniques do not address a major statistical problem: data censorship that occurs in prospective studies, since in many cases the subjects will not relapse during the follow-up performed. Survival analysis is a technique that allows taking this information into consideration and modeling the time until a certain event happens. Through different approaches, such as its descriptive techniques or Cox proportional hazards models, this technique allows us to evaluate the predictive power of tests, as well as of interventions.
El concepto de validez es uno de los elementos más importantes en los instrumentos de medición de cualquier tipo, especialmente en psicología. Un instrumento que mide lo que se supone que debe medir es considerado como un instrumento válido. Esta definición clásica lleva varios años en los principales libros de metodología para ciencias sociales (p. ej.,
El presente artículo retoma el análisis de supervivencia como una metodología que debería considerarse, en conjunto con las demás técnicas existentes, para evaluar la validez predictiva de una prueba o tratamiento. Se presentan los principales tipos de validez existentes, las formas en que se evalúan y las ventajas y desventajas de la técnica mencionada para evaluar la validez, haciendo énfasis en ejemplos de aplicación en el área de la psicología jurídica.
Previo a presentar al análisis de supervivencia como una técnica para evaluar la validez predictiva, se considera necesario hacer un breve recordatorio de los principales tipos de validez existentes ilustrándolos con algunos ejemplos de aplicación. Es bastante común que los libros de texto de metodología de la investigación en psicología consideren que la validez puede clasificarse en al menos tres tipos: 1) validez de contenido, 2) validez de constructo y 3) validez de criterio.
La validez de contenido se refiere al “grado en que un instrumento refleja un dominio específico de contenido de lo que se mide” (
Por otra parte, la validez de constructo hace referencia a que existen pruebas que “deben explicar el modelo teórico empírico que subyace a la variable de interés” (
Esto permitió concluir a los autores la teoría que el PCL mide un constructo unidimensional, el cual es matizado por dos factores que representan la parte conductual y afectiva de la psicopatía (
Finalmente, la validez de criterio “se establece al validar un instrumento de medición al compararlo con algún criterio externo que pretende medir lo mismo” (
La validez predictiva por su parte busca predecir una situación. Por ejemplo, recientemente
La validez predictiva es sin duda uno de los tipos de validez más deseados en cualquier instrumento de medición, especialmente en el campo de la psicología jurídica, razón por la cual en la actualidad existen diversas formas de evaluarla. A continuación, se describen las principales técnicas para hacerlo.
Una de las formas más utilizadas de evaluar la validez predictiva de una prueba es a través del análisis de tablas de contingencia, donde se contrasta lo predicho por la prueba con el criterio a predecir. Por ejemplo, si un instrumento dice que un agresor reincidirá y éste luego de un tiempo reincide, hablamos de lo que se conoce como un verdadero positivo, pero si no reincide, hablamos de un falso positivo. De igual forma, si el mismo instrumento dice que un interno no reincidirá y no lo hace, hablamos de un verdadero negativo, pero si reincide, se trata de un falso negativo. Estos análisis se realizan a partir de estudios prospectivos y longitudinales, en donde a los sujetos se les aplica el instrumento en cuestión y se realiza un seguimiento para identificar en cuáles de éstos se presentó el evento que se quería predecir. Una tabla de contingencia resume la frecuencia de casos en cada uno de estos posibles resultados.
Si bien las tablas de contingencia son una técnica general de clasificación binaria, existen varios estadísticos que pueden utilizarse para evaluar el poder predictivo (y por lo tanto la validez predictiva) de una prueba a través de los resultados obtenidos con estas tablas. Entre ellas destacan la tasa de falsos positivos y falsos negativos, el poder predictivo positivo y negativo, el poder diagnóstico general, la prevalencia y la sensibilidad y especificidad (
Si bien los estadísticos abordados anteriormente están dirigidos a profesionales del área de la salud, lo cierto es que han sido ampliamente utilizados en otras áreas de la ciencia (
Una forma usual de interpretar la curva ROC es analizando la proporción del área de la curva que se obtiene a partir de ésta. A mayor área, mejor predicción, ya que indica más aciertos y menos predicciones falsas (
Sin embargo, es importante hacer notar que, además de los problemas mencionados con anterioridad, existe otro problema con mayores implicaciones metodológicas: la censura de los datos, el cual está relacionado con diseños que requieren el seguimiento de los sujetos de investigación. En muchas ocasiones el tiempo de seguimiento es inferior al tiempo que se necesita para que un evento suceda, por lo que muchas veces los eventos de interés no suceden. Esto es especialmente problemático debido a que una proporción de los participantes no presentan el evento durante el tiempo de estudio. Sin embargo, esto no quiere decir que los participantes nunca lo experimentarán en un periodo superior al seguimiento. Esto se conoce en estadística como datos con censura, o datos censurados (en específico, como datos con censura derecha, donde el evento no ha ocurrido, en oposición a la censura izquierda, donde el evento ocurrió antes del comienzo del periodo). El presente documento ahonda en el análisis de supervivencia como una técnica que puede solventar estos problemas al brindar un marco metodológico ideal para evaluar la validez predictiva en el campo de la psicología jurídica y áreas afines. Para ello, se hace una revisión de la técnica, de sus requisitos y supuestos, así como de sus formas de aplicación e interpretación, de forma práctica, a través de un ejemplo con datos reales.
Si la validez predictiva es tan valiosa para identificar si un instrumento es útil en predecir que cierto evento suceda, es necesario contar con herramientas necesarias para evaluarlo. Ya se han mencionado algunas técnicas estadísticas que son especialmente útiles para evaluarla, pero que presentan deficiencias en su utilización (como la no normalidad de las variables o la presencia de datos censurados durante el seguimiento). El análisis de supervivencia es útil para solventar estas carencias (
El análisis de supervivencia hace uso de los datos de supervivencia, los cuales son “mediciones del tiempo transcurrido entre el inicio del seguimiento de un sujeto hasta la ocurrencia de un suceso o la finalización del seguimiento” (
Adicionalmente esta técnica toma en consideración la no normalidad del tiempo que transcurre hasta que sucede el evento, siendo el tiempo una variable que por su naturaleza no se distribuye de forma normal –solo avanza en una dirección, nunca retrocede (
El análisis de supervivencia también ofrece la posibilidad de comparar el tiempo de supervivencia de dos o más poblaciones diferentes (
Estas ventajas que presenta el análisis de supervivencia son posibles gracias a que ésta analiza los datos mediante la llamada función de supervivencia. Esta función puede estimarse en cualquier momento y brinda la probabilidad de que un individuo no presente el evento en un determinado momento
Las técnicas disponibles para el análisis de supervivencia pueden agruparse en dos grandes apartados (
A continuación se resumen brevemente cada uno ilustrándolo a través de un ejemplo con datos reales obtenidos de la base de datos de la Encuesta de Cohesión Social para la Prevención de la Violencia y la Delincuencia (ECOPRED) 2014 realizada en México por el
A la
Así mismo, también se puede trabajar con la función de riesgo [
Una de las ventajas que tiene el método de Kaplan-Meier es que permite la estimación de las funciones de supervivencia de diferentes grupos (
Lo anterior es posible gracias a la adaptación de estadísticos no paramétricos al análisis de supervivencia. Por ejemplo, el estadístico LogRank es una adaptación del estadístico de Mantel-Haenszel, que toma en cuenta la existencia de datos con censura. De igual forma, el estadístico de Breslow es una versión generalizada de la suma de rangos de Wilcoxon, que permite la utilización de datos censurados (
En el ejemplo anterior, si bien la mediana de supervivencia es prácticamente la misma para el grupo de consumidores y no consumidores –17 años–, las pruebas de hipótesis a través del estadístico LogRank (χ2 = 16.55,
Finalmente, existen otras formas de estimar la función de supervivencia de una muestra. Si bien el método de Kaplan-Meier es con mucho el más utilizado, también existe el estadístico de Nelson-Aalen, que permite estimar esta función a partir de la función de riesgo de la muestra (
El modelo de riesgos proporcionales de Cox hace uso de la estimación no paramétrica propuesta por la técnica de Nelson-Aalen y permite la inclusión de covariables (
Mediante el modelo de riesgos proporcionales de Cox podría estimarse la función de supervivencia de una muestra utilizando el diagnóstico brindado por una prueba como una covariable para controlar su efecto en el tiempo hasta que ocurre el evento. Esto permite obtener la llamada “razón de riesgo” [
En el ejemplo utilizado podríamos explorar si el consumo de drogas sigue siendo significativo para la edad del primer arresto ante la presencia de otras covariables, como el sexo, la violencia familiar, el estudio y el trabajo. En la
1Ser hombre.
Lo anterior es importante en términos de modelamiento estadístico, ya que al incluir covariables en el modelo de riesgos proporcionales de Cox nos permite controlar la presencia de variables significativas. Esto último se ve claramente reflejado en la
Las aplicaciones de lo anterior son fácilmente identificables. Por ejemplo, podría brindar información suficiente para analizar la validez predictiva de una prueba de valoración de riesgo, ya que confirmaría la eficacia del diagnóstico para predecir si un recluso reincidirá pronto o no. Adicionalmente, el modelo de Cox nos permite incluir tantas covariables como sean de interés en nuestro estudio, por ejemplo, considerar si el recluso participó en un tratamiento, el tipo de delito, sexo, uso de drogas, etc., por lo que la posibilidad de incluir variables de control es infinita.
El uso del análisis de supervivencia para probar la validez predictiva de variables e instrumentos cada vez es mayor en esta área. Por ejemplo, en un clásico estudio realizado por
Por otro lado, algunos de los sistemas de predicción de riesgo más importantes en los centros penitenciarios de diversos países han demostrado la validez predictiva de sus sistemas por medio del análisis de supervivencia utilizando la técnica propuesta por Cox. Tal es el caso del
1No viene con el paquete survival por default, sino que requiere el paquete coin.
2De forma indirecta al guardar los residuos y realizar un gráfico de dispersión de residuos vs. el tiempo.
3De forma indirecta al realizar una correlación de rangos entre la variable cuantitativa y el tiempo.
En el ejemplo presentado previamente del estudio de Grieger y Hosser con delincuentes juveniles de Alemania y el poder predictivo del LSI-R también buscaban identificar si el diagnóstico brindado por los 4 grandes factores, los 4 moderadores, y en general 8 predictores (4 moderadores + 4 grandes factores) propuestos por Andrews y Bonta (2010) eran igualmente buenos. Grieger y Hosser obtuvieron que si bien los cuatro grandes factores pueden ayudar a predecir la reincidencia general y violenta de una forma estadísticamente significativa, la incorporación de los cuatro moderadores mejora significativamente la predicción de la reincidencia, lo que señala la importancia de considerar de forma global los ocho factores evaluados por el LSI-R. De esta forma, demostraron la validez predictiva del modelo de Riesgo-Necesidad-Responsividad (RNR) propuesto por
Finalmente, la utilidad del análisis de supervivencia puede ir más allá en su uso con instrumentos de evaluación, ya que representa una forma eficaz de evaluar la efectividad de intervenciones y tratamientos. Por ejemplo, en un estudio llevado a cabo por
En la actualidad, existen diversos programas que permiten aplicar la técnica, tanto de pago (como SPSS o Minitab) como de acceso libre (por ejemplo, R). En la
En el caso de SPSS, el programa ofrece muchas funciones relacionadas con esta técnica. Tal como se aprecia en la
En el caso de R, al ser un programa de acceso abierto y respaldado por una comunidad de programadores y estadísticos, el programa permite todas las opciones brindadas por SPSS así como otras no incluidas, tales como la representación gráfica con intervalos de confianza y el ajustar modelos estadísticos con una distribución en particular (p. ej., Weibull) e incluso otros métodos más sofisticados, como el análisis de supervivencia multivariado. Si bien su uso requiere de conocimientos básicos de programación, lo cierto es que existen diversas interfaces gráficas que permiten emular ambientes similares a SPSS, tales como R Commander (
En resumen, se aprecia que existen varias alternativas para poder ejecutar el análisis de supervivencia a través de software, tanto de pago como de acceso libre. Si se desea un resumen más detallado de los pasos exactos para hacer los análisis, se recomienda a los usuarios de SPSS el libro de
Si bien se ha podido presentar esta técnica como una herramienta más para evaluar la validez predictiva de un instrumento o variable, hay que mencionar algunas de sus limitaciones, entre las que se encuentran la censura informativa, el tiempo de seguimiento y la existencia de covariables dependientes del tiempo.
Con respecto a la censura, uno de los requerimientos de la técnica es la consideración de que la censura de los datos no es informativa, es decir, no aporta información del fenómeno en cuestión. Sin embargo, es posible que en algunos casos la censura de los datos sí tenga un significado (
Otro aspecto es la consideración del tiempo de seguimiento. Si bien no existe un criterio que defina el tiempo de seguimiento en un estudio, tiene que someterse a consideración varios aspectos, desde metodológicos hasta financieros. Por ejemplo, el periodo de seguimiento no debe ser muy corto, puesto que se corre el riesgo de que no se presente ningún evento, y un tiempo demasiado largo implica más gasto de recursos. Una recomendación es analizar estudios similares para identificar los tiempos utilizados por otros investigadores.
Así mismo hay que tomar en consideración la existencia de variables dependientes del tiempo. Por ejemplo, algunos estudios han demostrado que la edad es un factor de riesgo de reincidencia y que los reclusos jóvenes tienen más probabilidad de reincidir que sus homólogos más longevos (
Como se ha visto, todas las desventajas anteriores han tenido formas de contrarrestarlas, ya sea en el proceso del análisis o en la planificación de la metodología del estudio. Además, entre las ventajas del método, como ya se mencionó, se encuentra la consideración de datos censurados, distintas formas de comparar tiempos de supervivencia de varios grupos, así como su inclusión en softwares comerciales bien conocidos, como SPSS, o de código abierto, como R (
Finalmente, otra gran ventaja es la posible extrapolación de la técnica para evaluar la validez predictiva de diferentes instrumentos y técnicas, que no necesariamente tienen que estar circunscritos en el diagnóstico, o incluso en el campo de la psicología jurídica. Por ejemplo, ha sido utilizado para evaluar la eficacia de ciertos tratamientos con delincuentes (
En conclusión, el análisis de supervivencia representa una metodología que a partir de ventajas analíticas prevé una herramienta inestimable para determinar empíricamente la validez predictiva de un instrumento, un signo o un tratamiento, técnica que además es conjugable con otros tipos de metodologías que permiten brindar una mejor evidencia de validez. El aprendizaje, el manejo correcto y la difusión de esta técnica son esenciales para cualquier profesional que desee validar la predicción de un instrumento o la eficacia de un tratamiento. Si el lector desea comprender mejor la técnica desde un punto de vista teórico-matemático, se recomienda encarecidamente el libro de
Validity is one of the most important elements in measuring instruments of any kind, especially in psychology. An instrument that measures what it is supposed to measure is considered as a valid test. The present article proposes the survival analysis as a methodology that should be considered, in conjunction with the other existing techniques, to evaluate the predictive validity of a test or treatment.
Predictive validity is a type of criterion validity that seeks to predict a situation. A clear example of this validity is the study by
Predictive validity is undoubtedly one of the most desired types of validity in any measurement instrument, especially in the field of legal psychology, which is why there are now several ways of assessing it. These techniques are briefly described below.
One of the most used ways of evaluating the predictive validity of a test is through the analysis of contingency tables where the diagnosis predicted by the test is compared with the criterion to be predicted. This technique allows the identification of false positives and false negatives, positive and negative predictive power, general diagnostic power, prevalence and sensitivity and specificity. However,
In addition to this, there is also the problem of monitoring the research subjects. In many cases, the tracking time is less than the time it takes for an event to happen so that many times the events of interest do not happen. This predicament is especially problematic because a proportion of participants do not present the event during the follow-up period. However, this does not mean that participants will never experience the event in a period longer than the follow-up. This phenomenon is known in statistics as censored data. Survival analysis is a statistical technique that takes these disadvantages into account and provides information on the predictive validity of a test.
Survival analysis also offers the possibility of comparing the survival time of two or more different populations (
One of the advantages of the Kaplan-Meier method is that it allows the estimation of the survival functions of different groups (
Using the Cox proportional hazards model, the survival function of a sample could be estimated, using the diagnosis provided by a test as a covariate to control its effect over time until the event occurs. This allows us to obtain the so-called risk ratio, whose interpretation is similar to the odds ratio of a logistic regression. That is, if the risk ratio is close to 1, it means that there is no difference between one diagnosis or another.
Survival analysis represents a methodology that, based on analytical advantages, provides an invaluable tool to assess, empirically, the predictive validity of an instrument or a treatment. This technique is also conjugable with other types of methodologies, which allows better evidence of its validity. The learning, proper management, and diffusion of this technique are essential for any professional who wishes to validate the prediction of an instrument or the effectiveness of a treatment.
Para citar este artículo: Vega-Cauich, J. I. (2019). El análisis de supervivencia como técnica para la evaluación de la validez predictiva en la psicología jurídica.