La Valoración del Riesgo de Reincidencia en Imputados por Violencia contra la Pareja: un Estudio Longitudinal con la Guía SARA

Introducción

La violencia contra la mujer ha generado una gran preocupación sobre la salud pública y la política social y de derechos humanos que afectan a este sector poblacional. La forma más frecuente de violencia que una mujer experimenta proviene de su pareja, motivo por el cul se la denomina violencia contra la pareja (VCP). En base a datos de 141 estudios en 81 países, Devries et al. (2013) concluyeron que un 30.0%, IC 95% [27.8, 32.2], de mujeres de 15 años o más han sufrido a lo largo de su vida violencia física y/o sexual por parte de una pareja.

En Argentina, la ley para prevenir, sancionar y erradicar la violencia contra las mujeres fue sancionada hace una década atrás (Ministerio de Justicia y Derechos Humanos, 2009). Las estadísticas nacionales muestran una prevalencia cercana a la media mundial. Por ejemplo, en base a una encuesta telefónica en una muestra representativa de mujeres de entre 18 y 69 años de población general de este país se ha reportado una prevalencia de violencia física y/o sexual en el último año de 2.7% (IC 95% [1.8, 3.6]) y de 26.9% considerando toda la vida (IC 95% [24.4, 9.4 %]) (D’Angelo et al., 2017). En relación a la manifestación más grave de este problema, existen registros oficiales de la figura legal denominada “femicidio” desde el año 2014, que informan cifras que oscilan entre 225 y 254 casos anuales, y que en casi el 60% de estos casos el autor es la pareja o ex pareja de la víctima (Corte Suprema de Justicia, 2019). Esto representa una tasa de 1.05 femicidios por 100,000 mujeres, cifra significativamente mayor a la media europea de 0.4 (European Institute for Gender Equality, 2018) aunque algo inferior a la media del continente americano, que ronda 1.6 por 100,000 mujeres (UNODC, 2018).

Múltiples servicios sociales, sanitarios, judiciales y de seguridad se encuentran involucrados en la atención a este problema con costos asociados que llegan a alcanzar el 2% del producto bruto interno en algunos países de Latinoamérica (Duvvury et al., 2013). Su magnitud y los costos humanos y económicos asociados dejan en evidencia que la prevención de la VCP es fundamental en cualquier sociedad y la valoración y gestión del riesgo se constituyen como pasos ineludibles en la tarea preventiva (Douglas y Kropp, 2002).

Valoración del Riesgo de Violencia contra la Pareja

Muchas decisiones judiciales sobre los agresores (p. ej., tratamiento en la comunidad, una condena de privación de libertad) y las víctimas (p. ej., órdenes de alejamiento o casas de refugio) dependen de las estimaciones de riesgo requeridas a los profesionales (Nicholls et al., 2013). Así, la valoración del riesgo es una actividad clave en el sistema penal con profundas consecuencias para la seguridad pública y las libertades individuales.

Kropp, Hart y Belfrage (2005, p. 2) definen la valoración del riesgo de VCP como “el proceso de obtener información sobre las personas para tomar decisiones respecto a su riesgo de perpetrar violencia contra la pareja”. Tradicionalmente los profesionales han realizado las valoraciones del riesgo basados exclusivamente en su juicio profesional. No obstante, en muchas jurisdicciones estas valoraciones (denominadas de “juicio profesional no estructurado”) están siendo reemplazadas gradualmente por evaluaciones que recaen en medidas validadas empíricamente para proveer estructura, transparencia, replicabilidad y validez a las evaluaciones de violencia (Muñoz Vicente y López Ossorio, 2016). En las últimas tres décadas se han diseñado varias herramientas que se basan en uno de los dos métodos para la valoración estructurada del riesgo de violencia, el actuarial y el de juicio profesional estructurado (JPE) (Andrés Pueyo y Arbach, 2014; Andrews y Bonta, 2010; Helmus y Bourgon, 2011; Nicholls et al., 2013). Aunque ambos métodos guían las estimaciones sobre la probabilidad de riesgo futuro en base a determinados factores de riesgo empíricamente vinculados a la conducta a predecir, se diferencian en el uso de fórmulas numéricas para alcanzar los niveles de riesgo de los evaluados. Estas últimas son exclusivas de los métodos actuariales y por eso también se los llama métodos de predicción estadística (Hilton et al., 2008). Por su parte, el modelo de JPE es un procedimiento discrecional pero, a diferencia del juicio clínico no estructurado, emplea guías basadas en la evidencia para sistematizar el ejercicio de la discrecionalidad (Guy et al., 2015; Hart et al., 2017). Esto quiere decir que prioriza la decisión del evaluador sobre el peso a asignar a cada ítem específico en el pronóstico y la identificación de factores de riesgo susceptibles al cambio que sean útiles en la gestión del caso (Guy et al., 2012). La elección de un método u otro dependerá de las decisiones a tomar, es decir de los objetivos particulares de la valoración (Webster et al., 2002).

Entre las medidas basadas en el modelo actuarial se encuentran el sistema Ontario Domestic Assault Risk Assessment (ODARA; Hilton et al., 2004), la Domestic Violence Risk Appraisal Guide (DVRAG; Hilton et al., 2008) y la Danger Assessment tool (DA; J. C. Campbell et al., 2009). En España destaca el desarrollo e implementación del sistema para la Valoración Policial del Riesgo (VPR; Caballé Pérez et al., 2020; López Ossorio et al., 2019). Por otra parte, la Spousal Assault Risk Assessment (SARA; Kropp et al., 1999) y la Brief Spousal Assault Form for the Evaluation of Risk (B-SAFER; Kropp, Hart y Belfrage, 2005) son ejemplos de escalas basadas en el modelo de JPE.

La evidencia sobre las propiedades psicométricas de estos instrumentos se puede encontrar resumida en una revisión global de metaanálisis (Hanson et al., 2007) y cuatro revisiones sistemáticas (Graham et al., 2019; Helmus y Bourgon, 2011; Messing y Thaller, 2013; Nicholls et al., 2013). En cuanto a la precisión predictiva comparada entre estos instrumentos, los hallazgos no son concluyentes. Algunos han encontrado una ligera ventaja de las escalas actuariales sobre las de JPE (Hanson et al., 2007; Messing y Thaller, 2013), mientras que otros muestran una precisión similar entre ambos tipos de medidas que se ubica en un rango de validez predictiva entre moderado y bueno de acuerdo a los estándares estadísticos (r > .30, AUC-ROC¹ > .60) (Nicholls et al., 2013). En relación a indicadores de validez predictiva más específicos, se han encontrado en las medidas de valoración del riesgo de violencia mayores valores de poder predictivo negativo (VPN: proporción de casos clasificados con riesgo bajo que no presentarán conductas violentas), en detrimento de los valores de poder predictivo positivo (VPP: proporción de casos clasificados con riesgo alto que presentarán conductas violentas) que tienden a ser bajos, debido en gran medida a la baja tasa base del fenómeno a predecir (Singh et al., 2011). Es decir, cuanto menos frecuente es un fenómeno (p. ej., la violencia) más difícil será identificar prospectivamente a aquellos que lo presentarán (por una revisión exhaustiva de estos conceptos ver Singh, 2013).

La Guía SARA

La Guía SARA (Kropp et al., 1995, 1999) fue una de las primeras guías de juicio profesional estructurado que se desarrolló para los agresores de pareja, siendo su segunda versión la más investigada hasta el momento (Nicholls et al., 2013). Se ha traducido al menos a 10 idiomas y se utiliza en al menos 15 países (Kropp y Gibas, 2010). Esta guía ha sido validada en diversas muestras de delincuentes adultos varones, incluidos aquellos bajo supervisión comunitaria, en prisión y en entornos forenses. De acuerdo a revisiones previas, una de sus ventajas reside en contar con más estudios de validación que cualquier otro instrumento (Helmus y Bourgon, 2011; Nicholls et al., 2013). Una tercera versión del instrumento se publicó en inglés en 2015 y aún no ha sido traducida al español (Kropp y Hart, 2015), motivo por el cual el presente artículo está referido a la segunda versión.

La Guía SARA consta de 20 factores de riesgo agrupados en cuatro secciones o subescalas (historia delictiva, ajuste psicosocial, historia de violencia de pareja y delito actual). La presencia de los factores de riesgo se codifica en una escala de tres puntos (0 = ausencia, 1= presencia parcial o moderada, 2 = presencia). Los primeros 10 ítems pueden combinarse para evaluar el riesgo de violencia general (parte 1) y los últimos 10 ítems pueden combinarse para evaluar el riesgo exclusivo de VCP (parte 2), de la suma de ambos resulta la puntuación total de la SARA (Kropp y Hart, 2000). Asimismo, es posible codificar cualquiera de los 20 factores de riesgo como “crítico o relevante” para indicar que el ítem está íntimamente relacionado al riesgo de violencia en el caso particular que se está evaluando. La relevancia de los ítems se codifica en una escala de 2 puntos (0 = no crítico, 1= crítico) (Kropp y Hart, 2000). Los autores señalan que el uso de las puntuaciones numéricas sólo es aplicable a los efectos de la investigación, y que los profesionales no deberían emplear esta herramienta como un test psicológico o una prueba psicométrica. En los últimos años se ha enfatizado la importancia de las “valoraciones resumidas del riesgo” (VRR) por sobre las puntuaciones numéricas (Hart et al., 2017). Las VRR son estimaciones clínicas globales acerca de si el agresor presenta riesgo bajo, medio o alto para dos resultados diferentes: el riesgo inminente de agredir a una pareja (VCP) y el riesgo inminente de agredir a alguna otra persona diferente a una pareja (Kropp et al., 1995). Estas valoraciones se realizan en base a la consideración de los 20 ítems de la SARA, cuya presencia y relevancia es establecida por el evaluador en una instancia previa de acuerdo a las directrices del manual de usuario.

En relación a su consistencia interna, estudios previos reportan una correlación estrecha entre la puntuación total de la SARA y las VRR del riesgo (r = .67) (Kropp y Hart, 2000). También se han encontrado niveles de fiabilidad inter-evaluador entre buenos y excelentes para la puntuación total, las partes 1 y 2 y las valoraciones resumidas del riesgo (Graham et al., 2019; Helmus y Bourgon, 2011). Por su parte, las codificaciones de los ítems críticos han demostrado generar menos acuerdo, aunque en rangos aceptables, entre los evaluadores (Grann y Wedin, 2002; Kropp y Hart, 2000).

La validez predictiva de la SARA en relación a la VCP se ha reportado en niveles medios. Por ejemplo, una revisión de estudios encontró que las puntuaciones totales de la SARA obtenían un valor promedio del AUC = .63 (95% IC [.60, .65]) en relación a diversos criterios de VCP (reingresos a prisión, nuevos registros criminales, informe de la víctima) y períodos de seguimiento que oscilaban entre los 3 y los 60 meses (Messing y Thaller, 2013). También al considerar las correlaciones entre las puntuaciones totales de la SARA y la reincidencia los valores se suelen ubicar en rangos medios (r = .18-.21) (Graham et al., 2019; Nicholls et al., 2013). En el caso de las VRR, las AUC oscilan entre .57 y .73 y no parecen diferir de las reportadas para las puntuaciones numéricas (Belfrage et al., 2012; Guy, 2008; Kropp y Hart, 2000). También la evidencia indica niveles de validez concurrente de buenos a excelentes de la SARA con otros instrumentos específicos para la valoración del riesgo de VCP como el ODARA o el DA (Helmus y Bourgon, 2011; Hilton et al., 2008).

La gran mayoría de estudios que exploran alguna propiedad de la SARA se ha llevado a cabo en países con larga tradición en las prácticas de evaluación psicológica mediante métodos estructurados, entre ellos algunos países de Europa (p. ej., Andrés Pueyo et al., 2008, en España o Grann y Wedin, 2002, en Suecia) y de Norteamérica (p. ej., Gray, 2012; Hilton et al., 2004; Williams y Houghton, 2004; Wong y Hisashima, 2008). Considerando las dos décadas que han transcurrido desde su primera versión, la investigación sobre la SARA en la región latinoamericana ha sido notablemente pobre. A pesar de existir dos versiones de la SARA en castellano (Kropp et al., 2005, Kropp et al., 2004) no se han identificado estudios que reporten un verdadero contraste de la validez predictiva mediante estudios longitudinales en esta región. No obstante, existen algunas pruebas empíricas que informan buenos niveles de fiabilidad interevaluador (κ VRR = .76, .82) y consistencia interna (α puntuación total = .73) en una muestra de 150 hombres denunciados por VCP en Venezuela (González Bustamante et al., 2016), y buenos niveles de concordancia en las VRR (CCI = .76, .90) en un estudio de Ecuador (Ochoa Balarezo et al., 2017). También estudios académicos de Chile han reportado buenos índices de fiabilidad y validez concurrente y discriminante de una versión adaptada de la SARA obtenidos en estudios con diseños retrospectivos y centrados en las puntuaciones numéricas (Barría et al., 2012; Gallardo y Concha Salgado, 2017; Gutierrez, 2014).

En resumen, la evidencia empírica sobre su validez y fiabilidad en poblaciones forenses hace a la SARA un recurso recomendable al momento de elegir qué instrumento emplear en los casos de VCP (ver Guía 10.02; American Psychological Association, 2013). No obstante, autores y revisores del instrumento han formulado algunas recomendaciones para mejorar la evidencia disponible sobre esta herramienta (Graham et al., 2019; Helmus y Bourgon, 2011; Kropp y Gibas, 2010; Kropp y Hart, 2000; Nicholls et al., 2013; Williams y Houghton, 2004). El presente estudio se ocupa de tres de ellas: a) el desarrollo de estudios con muestras de diferentes países que examinen su validez predictiva a partir de estudios con diseños longitudinales, particularmente enfocándose en las VRR (en contraposición a las puntuaciones numéricas) y en condiciones similares a las que habitualmente encuadran estas valoraciones, b) la comparación entre múltiples medidas de valoración del riesgo del criterio específico a ser evaluado, en este caso la VCP, y c) el estudio de la fiabilidad interevaluadores, especialmente en la codificación de las VRR.

Objetivos del Presente Estudio

En función de lo expuesto previamente, el primer objetivo de este estudio es explorar prospectivamente la validez predictiva de la SARA en población forense de Argentina. Este objetivo se enfoca particularmente en la validez predictiva de las valoraciones finales o resumidas del riesgo (VRR) en relación a nuevos registros judiciales por conductas violentas contra la pareja en un período de seguimiento de ocho meses. Adicionalmente, se compara la validez predictiva de las VRR y de las puntuaciones numéricas de la SARA. Un segundo objetivo se orienta a analizar la validez concurrente de la SARA en relación al ODARA. Por último, el tercer objetivo es analizar la fiabilidad interevaluador en la codificación de las VRR y de la presencia y relevancia de los factores de riesgo de la SARA.

Método

Participantes

Este estudio ha utilizado una muestra no probabilística de 125 hombres denunciados por VCP y evaluados por un equipo técnico de psicólogos, psiquiatras y trabajadores sociales de un tribunal penal en la fase previa al juicio. Cada profesional seleccionó de entre los casos que cumplían los criterios de inclusión a quienes consintieron participar. Los participantes en la muestra total tenían entre 22 y 70 años (M = 37.83, SD = 9.52); en 11 casos los evaluadores no registraron la edad.

Variables y Medidas

Guía para la valoración del riesgo de violencia conyugal (SARA; Kropp et al., 2004). Para la valoración del riesgo de VCP se empleó la versión traducida para Argentina de la SARA. Al igual que en el manual de usuario original (Kropp et al., 1995), esta versión contiene los criterios para codificar y definir cada uno de los 20 factores de riesgo y las directrices para decidir sobre las valoraciones resumidas del riesgo de violencia (VRR). En este estudio se consideran en los diversos análisis las codificaciones de presencia y relevancia de los factores de riesgo, las puntuaciones numéricas de las subescalas y del total de la SARA y las valoraciones resumidas del riesgo (VRR) de VCP.

Ontario Domestic Assault Risk Assessment (ODARA; Hilton et al., 2004). Este instrumento fue usado para analizar la validez concurrente con la SARA. Se trata de un instrumento actuarial de valoración del riesgo de reincidencia en VCP compuesto por 13 factores de riesgo de naturaleza histórica que se codifican de manera dicotómica (0 = no, 1 = sí) de acuerdo con reglas explícitas. Todos los ítems se ponderan por igual para alcanzar una puntuación total que puede oscilar entre 0 y 13. Cada evaluado obtiene una puntuación que al ser comparada con los datos normativos se podrá ubicar en 1 de las 7 categorías de riesgo para las que se ha estimado una probabilidad de reincidencia en función de la muestra original canadiense (5%, 10%, 20%, 27%, 41%, 59% y 70%, respectivamente).

Reincidencia (nueva causa judicial por VCP). El criterio para el cual la SARA está diseñado es un criterio amplio que agrupa diferentes conductas de violencia contra la pareja (VCP). El manual de la SARA define la VCP como cualquier daño físico efectivo, o el intento o amenaza de causarlo, perpetrado contra alguien con quien se ha tenido una relación íntima romántica o sexual (Kropp y Gibas, 2010, p. 227). En base a lo propuesto en el manual, en este trabajo se considera como VCP la violencia física y las amenazas graves hacia una pareja o expareja. Esta variable fue registrada prospectivamente mediante la identificación en los registros judiciales de los sujetos de nuevas causas por la ocurrencia de, al menos, una de estas conductas durante un período de seguimiento de ocho meses siguientes a la evaluación de base. Se consideraron las conductas violentas contra cualquier mujer con la que hubiera mantenido una relación de pareja. Estos sujetos son denominados “reincidentes”, en contraposición a quienes no presentaron nuevas causas, que son denominados “no reincidentes”.

Procedimiento

Un total de 4 psiquiatras, 9 psicólogos y 3 trabajadoras sociales del equipo técnico forense del Poder Judicial de la Provincia de Córdoba (Argentina) aceptaron voluntariamente la tarea no remunerada de realizar las evaluaciones requeridas para este estudio. Los profesionales recibieron un entrenamiento de 20 horas para la administración y codificación de la SARA y el ODARA por parte de los autores de este documento que tienen experiencia en valoración del riesgo de violencia.

A partir del día siguiente al entrenamiento, los profesionales administraron la SARA y el ODARA en casos que cumplieran dos condiciones que fueron definidas como criterios de inclusión: estar acusados por un delito de violencia contra una pareja mujer y tener una edad superior a los 18 años. Los profesionales evaluaron entre 4 y 12 casos cada uno. Para realizar los análisis de fiabilidad interevaluadores 31 casos fueron evaluados por ocho pares aleatorios de evaluadores. Dado que este estudio fue naturalista se debió priorizar la organización habitual de las evaluaciones interdisciplinarias y, por lo tanto, no se pudo programar una rotación sistemática de los profesionales que desempeñaron simultáneamente la tarea de evaluador 1 y evaluador 2 en cada par de evaluadores.

Las evaluaciones se realizaron entre el 13 de febrero y el 13 de mayo de 2018 en base a la revisión de archivos y registros forenses y de entrevistas de entre 1 y 2 horas con los acusados. Esta estrategia de recogida de datos ha sido reportada en estudios previos (Douglas y Belfrage, 2014). Al cabo de ocho meses de la evaluación inicial los profesionales consultaron el sistema informático que contiene los registros oficiales de causas judiciales para obtener información prospectiva sobre el criterio (VCP) para cada caso. La recogida y uso de datos se realizó con la autorización del Tribunal Superior de Justicia de la Provincia de Córdoba (Argentina). Se solicitó el consentimiento de los participantes, quienes fueron invitados a participar ofreciendo información sobre el carácter anónimo y voluntario de su participación, de sus derechos como sujetos que participan en una investigación y del alcance y limitaciones del estudio.

Resultados

Información Descriptiva

La frecuencia de ítems presentes y relevantes se presenta en la Tabla 1. Los factores de riesgo fueron codificados como presentes en un rango que osciló entre el 4 % y el 57 % de los casos, lo que indica que son pertinentes en casos de VCP. Los factores relevantes o críticos fueron codificados menos frecuentemente, lo cual aporta alguna evidencia de que los evaluadores diferenciaron adecuadamente entre presencia y relevancia. Como era esperable, ningún factor codificado como ausente fue codificado como relevante.

Las puntuaciones medias para la presencia de los factores de riesgo en las medidas de la SARA fueron las siguientes: total = 14.11 (DE = 6.69), subescala de historia delictiva = 1.17 (DE = 1.30), subescala de ajuste psicosocial = 4.38 (DE = 2.47), Subescala de historia de VCP = 6.10 (DE = 3.28), subescala de delito actual = 2.48 (DE = 1.48). Las puntuaciones medias para la relevancia de los factores de riesgo fueron las siguientes: total = 1.89 (DE = 1.97), historia delictiva = 0.12 (DE = 0.33), ajuste psicosocial = 0.75 (DE = 1.03), historia de VCP = 0.75 (DE = 1.09) y delito actual = 0.32 (DE = 0.64).

La distribución de las VRR en relación al riesgo de VCP fue la siguiente: riesgo bajo (9.6%), moderado (38.4%) y alto (52%).

Análisis de Fiabilidad

La puntuación numérica de la SARA total presentó un buen índice de fiabilidad interna (α = .79) (Georges y Mallery, 2001). Las correlaciones corregidas ítem-total oscilaron entre .15 y .58, con excepción del factor de riesgo 6 (CCIT = .09). Estos valores están en el rango moderado e indican que los factores de riesgo aportan una varianza única a la valoración del riesgo de VCP sin ser redundantes.

Para estimar el acuerdo entre pares de evaluadores se calculó el coeficiente de correlación intraclase (CCI) en 31 casos utilizando el modelo de dos factores de efectos mixtos (Streiner y Norman, 2008). Los valores de medida única para los ítems de la SARA indican que se da una alta concordancia entre los evaluadores (Fleiss, 1981). También se encontró un buen acuerdo estimado mediante el coeficiente kappa en la codificación de la mayoría de los ítems críticos (Tabla 2). El CCI para la valoración de riesgo de VCP fue de .84 e indica un alto grado de acuerdo entre evaluadores.

Validez de Constructo y Concurrente

Primero, se evaluó la validez de constructo de la SARA analizando la asociación entre sus diferentes medidas derivadas. En los análisis bivariados a nivel de ítems, varios factores de riesgo, tanto considerando su presencia (todos excepto 5 y 6) como su relevancia (todos excepto 1-4, 6, 9, 14 y 17), se asociaron significativamente con la VRR de VCP (r = .18-.50, p < .01). Así pues, los profesionales basaron su valoración final de riesgo en la presencia y relevancia de los factores de riesgo analizados.

A nivel de subescalas, la relación de la VRR de VCP con la subescala de historia de VCP fue más elevada (r = .64, p < .001) que la relación con las subescalas de delito/presunto delito actual (r = .58, p < .001), ajuste psicosocial (r = .52, p < .001) e historia delictiva (r = .42, p < .001). También la VRR de VCP se asoció fuertemente con la puntuación total de la SARA (r = .72, p < .001).

La validez concurrente se analizó calculando la correlación de Pearson entre las puntuaciones totales de la SARA y del ODARA que resultó elevada (r = .72, p < .001). La asociación de las VRR con el ODARA se calculó mediante el coeficiente de correlación de Spearman debido a la naturaleza ordinal de las primeras. Los resultados muestran una asociación estrecha entre estas variables (r_s = .64, p < .01).

Ocurrencia de la VCP durante el Seguimiento

El seguimiento consistió en la consulta de los registros informáticos para detectar nuevas causas judiciales por VCP durante los ocho meses después de la evaluación inicial. Del total de 125 hombres evaluados inicialmente se obtuvo información de seguimiento de 122 de ellos (97.6%). Se encontró que 24 hombres (19.7%) tuvieron al menos una nueva causa por violencia física y/o amenazas graves hacia una pareja o expareja durante el seguimiento. Estos casos serán considerados “grupo reincidente” en los subsiguientes análisis. Los 98 hombres que no contaron con nuevos registros por estas conductas durante el seguimiento serán considerados como el “grupo no reincidente”.

Validez Predictiva de las VRR

En cada categoría de riesgo (bajo, moderado y alto) obtenida mediante las VRR, la proporción de reincidentes fue la siguiente: 18.2% (n = 2), 8.7% (n = 4) y 27.7% (n = 18), respectivamente. Los análisis iniciales mostraron una asociación modesta, aunque significativa, entre estas VRR y la reincidencia, χ²(2, N = 125) = 6.17, p < .05. Dada la menor precisión de la categoría “moderado” se decidió realizar una estrategia de agrupación para explorar a qué grupo se asemejaría más ese nivel. En un primer momento, la categoría “moderado” se agrupó con el nivel de riesgo “alto” y la asociación con el criterio (reincidencia) no resultó significativa, χ²(1, N = 125) = .02, p = .90. En un segundo momento, la categoría “moderado” se agrupó con la categoría “bajo”. En este caso la asociación entre la VRR agrupada (riesgo bajo/medio y riesgo alto) y el criterio (reincidencia) resultó significativa, χ²(1, N =125) = 5.66, p < .05. La distribución de reincidentes según esta segunda agrupación fue 6 (10.5%) hombres con riesgo bajo/moderado y 18 (27.7%) hombres con riesgo alto. Esta estrategia de agrupación se ha empleado en estudios previos (Cairns, 2004; Singh et al., 2011).

Los casos fueron ordenados en una tabla de contingencia 2 x 2 de acuerdo a esta segunda agrupación. En las filas se distribuyeron los casos según las VRR (riesgo bajo/medio vs riesgo alto) y en las columnas se distribuyeron los casos según la variable criterio (reincidente vs. no reincidente). Los índices de validez predictiva derivados de esta distribución fueron los siguientes: 18 casos verdaderos positivos (reincidentes clasificados con riesgo alto) y 51 casos verdaderos negativos (no reincidentes con riesgo bajo/moderado). Fueron mayores los errores tipo I (47 sujetos clasificados con riesgo alto que no reincidieron) comparados con los del tipo II (6 sujetos clasificados con riesgo bajo/moderado que reincidieron). También se calculó la sensibilidad (.75), especificidad (.52), valor predictivo positivo (VPP) (.28), valor predictivo negativo (VPN) (.89), precisión global (.57) y área bajo la curva (AUC = .64, 95% IC [.52, .76], p < .05).

Aquellos sujetos clasificados con riesgo alto tuvieron una probabilidad tres veces superior de ser reincidentes durante el seguimiento comparados con los hombres clasificados con riesgo bajo y moderado (OR = 3.26, IC 95% [1.19, 8.90]). En un estudio que emplea la misma estrategia de agrupación, esta probabilidad fue de 2.5 para quienes quebrantaron medidas judiciales comparados con quienes no lo hicieron (Cairns, 2004).

Asimismo, las VRR superaron en precisión a las puntuaciones totales tanto de la SARA (AUC = .50; .37, .62; p > .05) como del ODARA (AUC = .59; .48, .70; p > .05). Tampoco las puntuaciones de las subescalas o las partes 1 y 2 de la SARA lograron AUC significativas. A nivel de ítems individuales, solamente un factor de riesgo (ítem 14) y un factor crítico (ítem 5) se asociaron con la VCP durante el seguimiento. Esto indica que debería considerarse la totalidad de ítems para alcanzar una estimación del riesgo de VCP con cierto grado de precisión, donde cada factor realizaría una contribución específica y parcial a la misma.

Discusión

La Validez Predictiva de la SARA en este Estudio

La evidencia previa ha establecido que la SARA es un método útil para la valoración del riesgo de VCP (Helmus y Bourgon, 2011; Messing y Thaller, 2013; Nicholls et al., 2013). En términos generales, los resultados de este estudio indican que las VRR que los profesionales realizan guiados por la SARA presentan niveles aceptables de validez y fiabilidad para la valoración del riesgo de reincidencia de VCP en población forense de Argentina.

En los análisis de validez predictiva, la estrategia de agrupación mejoró los niveles de precisión de las VRR. La probabilidad de reincidir (triplicada en los sujetos con alto riesgo en comparación con el resto) fue similar a la de aquellos estudios que emplean la misma estrategia de agrupación (Cairns, 2004).

Tan importante como identificar correctamente a los casos con alto riesgo que reincidirán lo es identificar los casos de bajo riesgo que no reincidirán. Esto ayuda a evitar los efectos iatrogénicos que medidas altamente restrictivas (por ejemplo, la privación de la libertad) pueden tener en casos con bajo riesgo de reincidencia (Bonta y Andrews, 2010; Cullen et al., 2011). Nuestros resultados demuestran que la SARA puede ser un buen instrumento para la consecución de este objetivo, dado que demostró valores predictivos negativos (VPN) entre moderados y altos, e incluso superiores al promedio reportado en revisiones previas (Singh et al., 2011). En contraposición, presentó bajos niveles de precisión para identificar la proporción de individuos con pronóstico de reincidentes que en realidad no reinciden (VPP). Al inicio del estudio, los evaluadores desconocían la tasa esperable de reincidencia así como las medidas judiciales que se implementarían a fin de evitar nuevos sucesos negativos. Esto puede explicar la tendencia a la sobrestimación del riesgo que ha sido descrita en estudios previos (Mills y Kroner, 2006). Además, es posible que las medidas cautelares implementadas hayan disminuido la tasa de reincidencia en estos casos, disminuyendo así la precisión predictiva de la SARA, un efecto esperable en estudios naturalísticos como el presente.

Este fenómeno fue reportado para varias herramientas de valoración del riesgo con medias de VPP rondando el 40% y VPN cercanos al 90% (Fazel et al., 2012). En nuestro estudio, casi 1 de 5 hombres reincidieron en un período de 8 meses. Es probable que una mayor tasa de reincidencia (3 de 5 por ejemplo) incrementase la precisión de la herramienta al aumentar las probabilidades de que un sujeto codificado con alto riesgo se encuentre en el grupo de los reincidentes. Aunque la SARA, al igual que otras herramientas de valoración estructurada del riesgo de violencia, parece identificar a los individuos de bajo riesgo con buenos niveles de precisión, la evidencia actual no soporta su uso como determinante único (sino complementario a otros) para decisiones tan relevantes en los casos de alto riesgo, como la detención, la condena o la liberación de los individuos (Fazel et al., 2012).

Otros estudios han mostrado AUC y otros indicadores de validez predictiva más elevados para las VRR que los obtenidos en este estudio (Cairns, 2004; Kropp y Hart, 2000). Entre los factores que podrían explicar la variabilidad en el desempeño de la SARA entre las diferentes muestras se encuentra el entrenamiento de los evaluadores (Fazel et al., 2012; Helmus y Bourgon, 2011). Es probable que en el contexto de un estudio controlado donde todos los evaluadores sean expertos en la herramienta los resultados demuestren propiedades más robustas (Kropp y Hart, 2000). No obstante, que los datos se obtengan en el contexto habitual de la práctica profesional aporta evidencia a favor de su validez ecológica y hace más plausible su generalización. Estudios previos han alertado sobre la importancia de investigar sobre las propiedades psicométricas de las herramientas de valoración del riesgo de VCP administradas por quienes habitualmente realizan esta tarea en los contextos reales (Graham et al., 2019). El presente estudio aporta evidencia al respecto y demuestra que es factible la implementación y adaptación de la SARA entre las prácticas habituales de evaluación forense.

En comparación con otros estudios, también debe considerarse el tiempo de seguimiento y la definición de la reincidencia como variables que expliquen resultados disímiles en relación a la validez predictiva de la SARA y de instrumentos similares. Por ejemplo, los estudios retrospectivos, con seguimientos más largos y criterios más amplios e informados (p. ej., Kropp y Hart, 2000) tenderán a reportar AUC más elevadas en contraposición a aquellos prospectivos, con seguimientos y criterios más acotados (p. ej., Williams y Houghton, 2004), como es nuestro caso.

Al igual que en estudios previos, varios factores de riesgo no se asociaron con la reincidencia (Grann y Wedin, 2002; Hilton et al., 2008). La poca variación (restricción de rango) en los factores puede explicarlo. Esto afectaría la validez predictiva de cada ítem, más que la de las VRR (Helmus y Bourgon, 2011, p. 68), dado que éstas se realizan considerando tanto la presencia como la relevancia de los factores en conjunto.

La Validez Concurrente con el ODARA

Las VRR de la SARA mostraron un buen nivel de validez concurrente con el ODARA. Estudios previos han demostrado resultados similares en términos de estrecha asociación entre la SARA y medidas actuariales de valoración del riesgo de VCP (Graham et al., 2019; Hilton et al., 2004; Kropp y Hart, 2000; Williams y Houghton, 2004). No obstante, los resultados de la validez predictiva respaldan el uso de la SARA como un instrumento de JPE en contraposición a su uso como un instrumento actuarial. Aunque metaanálisis recientes concluyen que cuando ambos tipos de medidas son comparadas directamente hay poca evidencia para afirmar la superioridad de las medidas actuariales o de JPE en la predicción de la reincidencia (M. A. Campbell et al., 2009; Singh et al., 2011; Yang et al., 2010), en el presente estudio las VRR de la SARA superaron en precisión a las puntuaciones numéricas tanto de la SARA (total y subescalas) como del ODARA.

El Acuerdo entre Evaluadores

Los hallazgos con estimadores de la concordancia entre evaluadores indican que la versión del instrumento es confiable para ser utilizada por profesionales con el correspondiente entrenamiento. Este hallazgo es acorde a un reciente estudio en la región (Ochoa Balarezo et al., 2017). Dado las características naturalísticas del presente estudio, el buen nivel de acuerdo detectado es una medición conservadora, es decir del “mínimo de acuerdo”. Sería esperable que la concordancia se incremente con el aumento del entrenamiento y la tarea conjunta y continua de cada par o grupo de evaluadores.

Similar consideración surge al observar que tradicionalmente los evaluadores hacen limitado uso de instrumentos estandarizados para la obtención de datos y de que se apoyan mucho en las apreciaciones clínicas. Así, la supervisión y sistematización sostenidas en el tiempo de las prácticas de evaluación podrían mejorar notablemente los niveles de fiabilidad encontrados en este estudio.

Implicancias de los Hallazgos y Futuras Líneas de Investigación

El presente estudio tiene implicancias teóricas, prácticas y en la investigación. A nivel teórico se debe profundizar en el análisis sobre la definición de los factores de riesgo, dado que la mayoría no presentó una asociación singular con la reincidencia. Los hallazgos podrían indicar la posible existencia de factores de riesgo específicos en este contexto. Asimismo, a pesar de que las teorías basadas en un enfoque de género resultan predominantes en la actualidad para explicar la VCP (Consejo Nacional de las Mujeres, 2016, p. 8), los ítems de la SARA asociados a creencias machistas (p. ej., ideas que justifican la violencia o celos extremos) no resultaron predictores de la reincidencia en este estudio, aunque presentaron una variabilidad en la distribución en el sentido esperado. Las teorías multifactoriales tienden a tener un mayor respaldo en la explicación de este fenómeno (Burelomova et al., 2018) y, por lo tanto, representan un buen marco teórico para la investigación futura tendiente a explicar la VCP. También la nueva versión de la SARA ha propuesto avances en la definición y contextualización de los ítems (Kropp y Hart, 2015). Queda pendiente investigar sus propiedades en esta población cuando su traducción al español esté disponible.

La principal implicancia en la investigación surge del hallazgo sobre los niveles aceptables, aunque mejorables, de validez predictiva de la SARA en esta población. Generalmente, un estudio resultará más confiable cuando los instrumentos son codificados correctamente por evaluadores muy atentos a la tarea y adecuadamente entrenados y cuando tienen acceso a datos completos y a fuentes de información fiables (Helmus y Bourgon, 2011; Nicholls et al., 2013). En el contexto de este estudio es habitual el uso casi exclusivo del juicio clínico para la evaluación de las variables que la SARA contempla (p. ej., problemas de pareja, trastornos de personalidad, sesgos cognitivos, actitudes, psicopatología, experiencias infantiles adversas) (Arbach et al., 2017). El uso de las pruebas estandarizadas es ciertamente deseable para una evaluación integral (Helmus y Bourgon, 2011). Por lo tanto, permanecen como un interrogante empírico los efectos de incrementar la sistematización de las valoraciones del riesgo de violencia en la fase previa al juicio mediante la incorporación de instrumentos como autoinformes y pruebas psicométricas que controlen los sesgos de respuesta.

Como otros han establecido, también será importante desarrollar estudios con otras muestras de agresores de pareja, por ejemplo aquellos que ya han cumplido condena de prisión, los agresores juveniles, las agresoras mujeres y los agresores de parejas del mismo sexo (Helmus y Bourgon, 2011; Williams y Houghton, 2004).

A nivel práctico, al menos cuatro razones permiten recomendar la adopción de la SARA en los ámbitos forenses locales. En primer lugar, implementar el instrumento es la única vía para reunir datos que permitan continuar los análisis e identificar los ajustes necesarios para su mejora. Hasta que eso ocurra, el instrumento debería usarse con las precauciones que aquí se establecen y en conjunto con otras herramientas, especialmente cuando las decisiones sobre la probabilidad de reincidencia impliquen consecuencias potencialmente adversas o graves para las víctimas o los agresores.

En segundo lugar, la SARA ha demostrado ser útil en la gestión de casos de VCP en otros países (Belfrage et al., 2012). En el contexto del presente estudio no fue posible encontrar datos sobre la eficacia para la reducción del riesgo de reincidencia de las medidas de gestión del riesgo de los agresores de pareja. Esto sorprende dada la cantidad de recursos asignados a la creación de servicios de atención a víctimas (Gobierno de Córdoba, 2018) y agresores (Gobierno de Córdoba, 2017) en los años recientes y la necesidad de incrementar las medidas penales alternativas ante una crítica situación del sistema correccional (Esteban, 2020; Job, 2019). Por lo tanto, sería una prometedora línea de investigación en nuestra región el efecto que las guías para la valoración estructurada del riesgo podrían tener en la planificación de las estrategias de gestión del riesgo, así como el impacto de las mismas en las variaciones de los niveles de riesgo.

En tercer lugar, los instrumentos basados en el modelo de JPE, como es la SARA, se encuentran principalmente orientados a la formulación forense del caso (Logan, 2014). Esta actividad central en la práctica forense podría beneficiarse de contar con una guía que la oriente en las dimensiones a explorar, a fin de generar teorías explicativas sobre los casos particulares.

En cuarto lugar, las prácticas profesionales locales en evaluación psicológica forense han demostrado basarse principalmente en el juicio clínico y en teorías psicodinámicas (Arbach et al., 2017; Goldstein et al., 2015), a pesar de las críticas y debates sobre tales prácticas en el ámbito forense (Lally, 2003; Wood et al., 2009). Mejorar la estructuración de estas prácticas a partir de métodos basados en la evidencia podría representar una mejora sustancial en la calidad de las evaluaciones forenses.

En resumen, la adopción de la SARA permitiría que los profesionales emplearan un instrumento basado en la evidencia del que cuentan con información sobre sus propiedades (algo que también sería de utilidad a jueces y fiscales), haría más defendibles las recomendaciones de intervención al basarlas en los factores y el nivel de riesgo identificados en cada caso, facilitaría la tarea explicativa del caso (es decir, la formulación forense) que en ocasiones representa uno de los mayores desafíos en los informes y, por último, representaría una real actualización de las prácticas de evaluación psicológica forense locales.

Limitaciones del Estudio

Algunas limitaciones deben tenerse en cuenta al momento de interpretar los resultados de este estudio. En primer lugar, los evaluadores no pudieron obtener información de otras fuentes de datos, como la entrevista directa con la víctima o con informantes colaterales (aunque sí contaron con lo que de ellas se reporta en los expedientes oficiales), ni tampoco emplearon pruebas psicométricas en la valoración de otras variables, lo que pudo haber afectado la precisión de la evaluación en los ítems individuales. No obstante, son limitaciones compartidas por otros estudios incluidos en los metaanálisis y revisiones de la SARA (Kropp y Gibas, 2010, p. 234-236) que, de solventarse, mejorarían los índices de validez reportados aquí al ampliar la información disponible para la codificación de los ítems.

En segundo lugar, la medición de la reincidencia de VCP a partir de bases de datos administrativas oficiales pudo haber producido una subestimación de la tasa de reincidencia tal como se ha reportado en estudios previos (Hilton et al., 2010, p. 14). El efecto de esto se vio reflejado en los bajos niveles del VPP. La investigación muestra que las tasas de reincidencia aumentan con el autoinforme y la información colateral (Farrington y Toffi, 2014), por lo cual sería esperable que la validez predictiva se incrementara al considerar estas medidas (Nicholls et al., 2013). Esto es así pues, como se explicó previamente, una mayor prevalencia del criterio incrementa la probabilidad de clasificar correctamente los casos verdaderos positivos (Singh, 2013).

También sería beneficioso que los futuros estudios registren no solo la ocurrencia del resultado, sino también la naturaleza, frecuencia, severidad e inminencia de los eventos violentos. Contar con información sobre la fecha de ocurrencia de la violencia permitiría controlar el efecto del tiempo en la predicción cuando los períodos de seguimiento varían entre los sujetos. Dado que en este estudio no se contó con esta información, se unificó el tiempo de seguimiento para todos los casos (ocho meses) como un modo de controlar lo que se denomina “tiempo en riesgo”.

Conclusiones

La investigación sobre la SARA se incrementó exponencialmente durante la década pasada. Hoy las preguntas empíricas ya no son si la herramienta funciona, sino cómo funciona, en quién y para qué. Este estudio aporta datos sobre la aplicabilidad transcultural de la SARA mediante una metodología recomendada en revisiones previas (Helmus y Bourgon, 2011; Nicholls et al., 2013). A pesar del costo de desarrollar estudios longitudinales en sistemas con poca tradición en investigación, este trabajo logró realizar un seguimiento de un grupo de agresores de pareja, registrar su tasa de reincidencia a mediano plazo y contrastarla con las valoraciones de riesgo iniciales. Los resultados informan que la SARA representa una opción adecuada para estructurar la valoración del riesgo de VCP en el trabajo pericial y podría ser un instrumento prometedor para la planificación de la intervención en esta población.

Mientras la violencia hacia las mujeres se mantenga como un tema primordial en la agenda política de las sociedades, la introducción de estos instrumentos en la cadena de gestión de estos casos no debería descuidarse. Los programas de tratamiento en la comunidad ordenados a los agresores podrían beneficiarse al adecuar aspectos de la intervención a los niveles de riesgo identificados con esta herramienta y los profesionales podrían defender sus conclusiones y recomendaciones de acuerdo con la evidencia disponible sobre la herramienta. Los hallazgos de este trabajo pueden favorecer la implementación de estas estrategias.

Extended Summary

Background

Official reports show gender violence prevalence in Argentina is close to the global average, affecting approximately 1 in 3 women over 18 years of age throughout their lives (D’Angelo et al., 2017). Femicide rate is 1.05 per 100,000 women (Corte Suprema de Justicia, 2019), a figure significantly higher than the European average of 0.4 (European Institute for Gender Equality, 2018) although somewhat lower than the average of the American continent, near to 1.6 per 100,000 women (UNODC, 2018).

Many judicial decisions about offenders and victims depend upon risk estimations that are committed to professionals (Nicholls et al., 2013). Spousal Assault Risk Assessment (SARA) (Kropp et al., 1995, 1999) was one of the first tools designed to assist in this task and is one of the best studied intimate partner violence (IPV) risk assessment measures. It has some of the strongest evidence to support its concurrent and predictive validity and interrater reliability (Helmus & Bourgon, 2011; Messing & Thaller, 2013; Nicholls et al., 2013).

Despite the two SARA Spanish translations available (Kropp et al., 2004; Kropp, Hart, Webster, et al., 2005), the evidence on its psychometric properties in Latin American samples is very scarce. The few exceptions have reported good levels of interrater reliability, internal consistency, and concurrent validity with other general violence risk assessment measures (Gallardo & Concha Salgado, 2017; González Bustamante et al., 2016; Ochoa Balarezo et al., 2017), but none of them have explored their predictive validity.

Previous SARA reviews have highlighted some recommendations to improve the evidence available for this tool (Helmus & Bourgon, 2011; Kropp & Hart, 2000; Nicholls et al., 2013; Williams & Houghton, 2004). These recommendations are the development of studies that examine its predictive accuracy through longitudinal designs, particularly focused on the categorical summary risk ratings (SRR) (as opposed to numerical scores), research comparing multiple risk assessment measures of the specific criteria to be evaluated, that is IPV related-offenses, and the study of its interrater reliability.

Aims and Method

Thus, the first objective of this study is to explore the predictive validity of SARA in forensic population of Argentina. Particularly, this study focuses on the predictive validity of SRR in relation to new records of a legal case by IPV-related offenses in an eight-month follow-up period. Our second objective is to analyze the concurrent validity of the SARA in relation to another IPV risk assessment tool, the Ontario Domestic Assault Risk Assessment (ODARA) (Hilton et al., 2004). Finally, the third objective is to analyze interrater reliability in relation to the coding of the presence and relevance of risk factors and SRR in a subsample of 31 cases assessed independently by random pairs.

To achieve these aims, 16 professionals were trained to administer SARA and ODARA in a pre-trial assessment to an accidental sample of 125 adult men (mean age = 37.83, SD = 9.52) charged for a violent offense against a female partner (IPV).

Results

After eight months of SARA and ODARA base assessment, 24 participants (19.7%) were identified with a new legal cause for physical violence or serious threats against a female partner.

The mean scores for presence ratings were the following: total = 14.11 (SD = 6.69), criminal history = 1.17 (SD = 1.30), psychosocial adjustment = 4.38 (SD = 2.47), spousal assault history = 6.10 (SD = 3.28), offense index = 2.48 (SD = 1.48). Mean scores for items relevance were the following: total = 1.89 (SD = 1.97), criminal history = 0.12 (SD = 0.33), psychosocial adjustment = 0.75 (SD = 1.03), spousal assault history = 0.75 (SD = 1.09), and offense index = 0.32 (SD = 0.64). SARA total score and SRR were strongly correlated (r = .72, p < .001). In addition, ODARA total score was strongly correlated with SARA total score (r = .72, p < .001) and with SRR (r = .63, p < .001).

In base assessment, distribution of SRR was as follows: low (9.6%), moderate (38.4%), and high (52%) risk. Professionals showed good concordance levels in the estimation of risk factors presence (ICC = .61, .94) and the SRR (ICC = .84). In the estimation of risk factors relevance interrater reliability was good for 15 risk factors (k-value > .6) and weak in the remaining ones (k-value = .30-.50).

The proportion of recidivists during follow-up according to SRR was as follows: low (18.2%), moderate (8.7%), and high (27.7%). Given the lower accuracy of the “moderate” category, a binning strategy was used such in previous studies (Cairns, 2004; Singh et al., 2011). The SRR of SARA grouped into two levels (low-moderate vs. high) was significantly associated with recidivism during follow-up, χ²(1, N = 125) = 5.66, p < .05), but it was not the case for the SARA (AUC = .50; .37, .62; p > .05) and the ODARA (AUC = .59; .48, .70; p > .05) total scores.

SRR predictive validity figures were as following: 18 true positives, 51 true negatives, 47 type I errors (false positive cases), 6 type II errors (false negative cases), sensitivity = .75, specificity = .52, positive predictive value = .28, negative predictive value = .89, global accuracy = .57, and area under the curve = .64 (95% CI [.52, .76], p < .05).

Discussion

Although the use of instruments for the structured assessment of violence risk has spread exponentially in recent years around the world, it is still an incipient practice in the Latin American region (Goldstein et al., 2015). This study represents an advance in this matter and provides data on the reliability and cross-cultural validity of SARA analyzed prospectively following the recommendation of the main revisions on this instrument (Helmus & Bourgon, 2011; Messing & Thaller, 2013; Nicholls et al., 2013). Our results indicate that SARA used as a JPE (non-actuarial) tool represents an appropriate option in forensic evaluations. The evidence on its usefulness in risk management plans (Belfrage et al., 2012) along with the evidence of its properties provided in this study could be a solid basis to improve the implementation and continued research of SARA in this region. Future studies may benefit from considering the base rate reported here, the importance of the assessors training and supervision, the use of structured measures for the assessment of individual risk factors and the identification of recidivism from multiple sources. The translation and research of the SARA version 3 (Kropp & Hart, 2015) is also an extremely promising line in this context when its translation becomes available.

In conclusion, the adoption of SARA in the context of this study could have many advantages. In the first place, it would allow professionals to base its risk judgments on an evidence-based instrument. In addition, it would make their intervention recommendations more defensible by basing them on the risk level estimated in each case as recommended by experts (Andrews & Bonta, 2010). Finally, it would facilitate forensic case formulation, which sometimes represents one of the greatest challenges in forensic reports. All previous would represent a valuable update of forensic psychological assessment practices in the region.