Conferencia: "Innovación tecnológica y desafíos en la prevención de la violencia de género: el caso del Sistema VioGén".
Elisa Simó Soler
Profesora Ayudante de Derecho Procesal, Universitat de València
Breve introducción al sistema VioGén
El Sistema VioGén (Sistema de Seguimiento Integral en los casos de Violencia de Género) fue implementado en el año 2007 por la Secretaría de Estado de Seguridad del Ministerio del Interior siguiendo el mandato presente en la Ley Orgánica 1/2004, de 28 de diciembre, de Medidas de Protección Integral contra la Violencia de Género con la finalidad de predecir el riesgo de reincidencia en casos de violencia de género y coordinar la protección de las víctimas.
Pese a que el resultado de VioGén es compartido entre varios servicios públicos (fuerzas y cuerpos de seguridad, justicia, sistemas penitenciarios, sanidad, servicios sociales, igualdad), hasta el año 2020 solo podía ser cumplimentado por la policía en el momento en que una mujer acude a comisaría para denunciar. A partir de modelos estadísticos se persigue obtener un determinado nivel de riesgo de reincidencia -no apreciado, bajo, medio, alto o extremo- que lleva aparejado una serie de medidas a adoptar por parte de la policía, cumpliendo una función tanto predictiva como preventiva. Además, el resultado de VioGén se acompaña al atestado policial para conocimiento del órgano judicial. Desde hace cuatro años también puede ser utilizado por el personal adscrito a los Institutos de Medicina Legal y Ciencias Forenses a petición de la jueza o juez.
Cabe precisar que VioGén es un sistema actuarial formado por dos formularios: VPR 5.0 (compuesto por 35 indicadores de riesgo) cuya ejecución permite obtener el riesgo de reincidencia por parte del mismo agresor y el VPER 4.1 (integrado por 37 indicadores de riesgo) utilizado para conocer la evolución del riesgo. Tras su última actualización en 2019, el formulario 5.0 incluye una Escala H (diseñada con 13 indicadores) para detectar los casos que conllevan riesgo de homicidio. Se trata de un segundo algoritmo, que funciona en paralelo al VPR, y que emite una alerta automática ante lo que se han denominado “casos de especial relevancia”. Su activación conlleva un aumento automático del riesgo a “medio” o “alto” si el resultado inicial de reincidencia había sido “no apreciado” o “bajo”. Además, incorpora advertencias específicas para “menores en situación de vulnerabilidad” y “menores en riesgo”.
El Sistema VioGén es un ejemplo de cómo la tecnología –y, previsiblemente la Inteligencia Artificial (IA) en un futuro– ha comenzado a influir de manera significativa en la Administración de Justicia. En 2020 la Audiencia Nacional se pronunció en el caso judicial más significativo relacionado con VioGén hasta el momento.
En sentencia de 30 de septiembre de 2020, la Sala de lo Contencioso-Administrativo de la Audiencia Nacional declaró la responsabilidad patrimonial de la Administración Pública por un error en la evaluación de riesgo que no pudo prevenir el asesinato de una mujer a manos de su pareja. El sistema VioGén había asignado inicialmente un nivel de riesgo “no apreciado” que los agentes de la Guardia Civil mantuvieron sin realizar investigaciones adicionales, pese a la existencia de indicios suficientes para haber prolongado la investigación. Esta valoración fue un condicionante negativo para que el juzgado denegara la orden de protección solicitada por la víctima. Un mes después la mujer fue asesinada.
Así, al evaluar el funcionamiento de este modelo, es posible apreciar una serie de problemáticas sobre las que resulta conveniente reflexionar.
Problemáticas descubiertas
Falta de transparencia
La primera de las debilidades que se subraya de VioGén –y que podría convertirse en una amenaza– es su déficit de transparencia. Como apuntan Martínez Garay et al. (2022), es imprescindible contar con un mayor conocimiento sobre su funcionamiento y la articulación de mecanismos de control externo para obtener información acerca de su eficacia y fiabilidad, algo que la Secretaría de Estado de Seguridad no ha hecho público hasta el momento. En este sentido, se sabe cuáles son los factores e indicadores de riesgo utilizados en cada formulario, pero se desconoce cuáles son los empleados en la ponderación, así como los pesos diferenciados (si es que los hay) atribuidos a cada uno de ellos. La preocupación por su opacidad es compartida por Éticas Foundation en la auditoría externa realizada en colaboración con la Fundación Ana Bella (2022), al señalar que la mayoría de la información que se dispone de VioGén parte de estudios realizados por los equipos que participaron en su desarrollo y personal afín al Ministerio del Interior.
Esta imposibilidad para auditar externamente estos algoritmos, no solo es un impedimento para evaluar la exactitud de los análisis de riesgo, lo que podría llevar a errores de predicción con consecuencias fatales, sino que puede comprometer la confianza pública y la legitimidad del sistema judicial.
Sesgos algorítmicos
Con la implementación de sistemas de IA una de las mayores preocupaciones fue la identificación de supuestos de discriminación algorítmica. Como se ha avanzado, el limitado acceso a la información dificulta la detección de posibles sesgos algorítmicos de VioGén. Sin embargo, de los estudios elaborados es posible identificar dos supuestos que podrían apuntar hacia este efecto negativo.
En el trabajo realizado por el equipo de la Universitat de València (Martínez Garay et al., 2022) se han encontrado evidencias que sugieren que las mujeres nacidas fuera de España están menos protegidas o su protección es menos efectiva, tanto frente a nuevas agresiones como frente a homicidios. La sobrerrepresentación de las mujeres migrantes en VioGén se justifica porque sufren más violencia y denuncian más que las mujeres españolas. Sin embargo, esta sobrerrepresentación no es homogénea, incrementándose en los casos inactivos (que podría estar relacionados con el turismo o estancias temporales en territorio español por trabajo) y en los niveles de riesgo bajo y no apreciado (que podría constituir un supuesto de discriminación indirecta que requiere un estudio en profundidad sobre la situación de especial vulnerabilidad de las mujeres migrantes, en particular, en situación administrativa irregular).
Por su parte, en los resultados de Éticas se identifica que el hecho de no tener hijas o hijos comporta una disminución significativa de la percepción de riesgo extremo. Según disponen, “a las mujeres que fueron asesinadas por sus parejas y no tenían hijos se les asignó sistemáticamente una puntuación de riesgo más baja que a las que sí los tenían, con una diferencia de sensibilidad entre grupos del 44%” (Éticas Foundation, 2022, 33).
Estos dos ejemplos constituyen una advertencia clara de posibles errores predictivos que merecen una atención urgente si tenemos en cuenta la finalidad de su utilización que no es otra que proteger la vida de mujeres víctimas de violencia de género.
Sesgos personales
Cuando se analiza la existencia de sesgos y su posible afectación en el resultado final, debe tenerse en cuenta la variable humana. En el caso de VioGén, el impacto humano podría darse en el momento de cumplimentación del formulario, bien por falta de fuentes de información, bien por una incorrecta apreciación de las circunstancias que acompañan a la víctima por parte de la policía.
La instrucción 4/2019 de la Secretaría de Estado de Seguridad contiene un apartado sobre “Habilidades de comunicación para la recogida de los datos que permitan informar los indicadores de riesgo” que ofrece algunas consideraciones interesantes a este respecto. Por un lado, se precisa que, pese a que en la mayoría de ocasiones solo se entrevistará a la víctima, la policía debería contrastar la información con otras fuentes (agentes policiales que hayan intervenido con anterioridad, autor, vecindario, testigos, familia e, incluso, informes técnicos). Por otro lado, la propia Secretaría pone atención en la posible interferencia de estereotipos sobre la buena víctima en la valoración policial: “conviene destacar que no existe una reacción estereotipada y genuina de una “verdadera” víctima. Así, más allá de los mitos existentes, cada víctima puede reaccionar de una manera distinta durante las diligencias policiales y también cuando exprese el relato de las agresiones”, y directamente considera la posible incorporación de sesgos por parte de la policía al resaltar que “es muy importante dejar que la mujer empiece relatando de forma libre y espontánea, evitando así la introducción de sesgos” (2019, 3 y 5).
Asimismo, en el trabajo de campo realizado por Éticas (2022) más del 80% de las mujeres entrevistadas reconocieron diferentes problemas con el formulario VioGén, lo cual señala directamente a la calidad de los datos de entrada e invita a una revisión del proceso de generación de datos que alimenta el sistema algorítmico al poder constituir una causa de presencia de sesgos. Conviene recordar que la instrucción 4/2019 de la Secretaría de Estado de Seguridad descarta la cumplimentación del formulario como si de un cuestionario se tratara. Se debe favorecer un ambiente propicio en el que la mujer pueda relatar lo sucedido en una esfera de acompañamiento que se consigue gracias a asumir la perspectiva de género interseccional que requiere de una capacitación especializada.
Sesgo de automatización
A pesar de que en la actualidad VioGén no ha incorporado IA para realizar las valoraciones de riesgo, sí es posible identificar un sesgo que la propia Ley de IA en su artículo 14.4 letra b) recoge, el conocido como sesgo de automatización, esa tendencia a confiar automáticamente o en exceso en los resultados producidos por un sistema de IA de alto riesgo.
En el caso de VioGén, el 95% de los y las agentes de policía decidieron no modificar la puntuación de riesgo sugerida (González Álvarez, et al. 2018). Dicho en otras palabras, solo el 5% hizo uso de su potestad de modificar al alza el resultado arrojado. Esta tendencia a asumir el riesgo que otorga VioGén no solo puede constituir una muestra patente de delegación de toma de decisiones en un algoritmo, sino que entraña ciertos cuestionamientos en términos de responsabilidad. Cabe recordar que el órgano judicial no queda vinculado por el resultado de VioGén para acordar la adopción de una medida cautelar, de ahí que la Audiencia Nacional descartara imputar el fallo al algoritmo considerando las prerrogativas de supervisión humana.
No obstante, el sesgo de automatización propicia otras reflexiones en torno a la posibilidad de recurrir la adopción de una medida cautelar (por ejemplo, solicitar el acceso al resultado de VioGén por parte del acusado para impugnar las medidas cautelares impuestas) o la justificación reforzada que pueda requerirse del órgano judicial en caso de apartarse del riesgo ofrecido por VioGén (poniendo el foco en el razonamiento judicial hoy basado en heurísticos y otros factores contextuales que conforman la black box humana, pero también en el cumplimiento de la obligación de motivar las resoluciones y la garantía de imparcialidad) (Simó Soler y Rosso, 2022; Montesinos García, 2021).
Precisión en la predicción
Un último elemento crítico a considerar es la precisión en la predicción. VioGén está diseñado para maximizar la sensibilidad y detectar el mayor número de casos posibles donde la víctima podría ser agredida nuevamente, lo cual ha resultado en un alto número de falsos positivos. Tal y como revelan Martínez Garay et al. (2022), menos del 20% de las mujeres sufren una segunda agresión cuando el riesgo estimado es medio, alto o extremo. La pregunta que sigue entonces es si este resultado responde a un mal funcionamiento de VioGén, sin embargo, la respuesta no es sencilla debido, entre otras cosas, a la opacidad del sistema que no permite controlar de forma rigurosa estos extremos. Efectivamente, no se descarta esa sobreestimación del riesgo consecuencia del propio sistema, pero también se acoge la hipótesis de la efectividad de las medidas de protección adoptadas que evitan la revictimización.
Se discute si la ampliación del uso de VioGén por parte de las Unidades de Valoración Forense Integral para integrar la valoración forense podría reducir el número de falsos positivos dado que cuentan con mayor información por su formación que les permite valorar otros factores como la presencia de trastornos mentales, la posibilidad de entrevistarse con el agresor y de hacerlo con la víctima en un ambiente más relajado y distanciado temporalmente de la agresión. Sin embargo, los primeros resultados no van encaminados en esa dirección, ya que el riesgo se mantiene o, en su caso, aumenta de nivel. No obstante, pese a que el cambio no sea el esperado, su mera existencia es un indicador de la necesidad de contar con equipos interdisciplinares para una valoración integral del riesgo que beneficia tanto a la víctima, asegurando su correcta protección, como al agresor, puesto que la afectación de los falsos positivos en sede judicial podría tener un efecto muy perjudicial en sus derechos si se alcanzaran medidas privativas de libertad (Martínez Garay et al., 2022).
Conclusiones
El uso de tecnologías avanzadas en la justicia, como lo demuestra el sistema VioGén, ha abierto una nueva era en la protección de víctimas de violencia de género. No obstante, aunque estas tecnologías ofrecen herramientas poderosas para la prevención y gestión de riesgos, es esencial mejorar la transparencia de los algoritmos, fomentar la supervisión interdisciplinar y garantizar que los avances tecnológicos no comprometan los derechos de las víctimas y los agresores.
Su aplicación en la justicia penal pretende eliminar o al menos reducir determinadas disfunciones y carencias que afectan a la Justicia, como la elevada subjetividad judicial a través de la objetivización del proceso de toma de decisiones, y aspira a contribuir a alcanzar la tan ansiada cifra de cero víctimas violencia de género. Sin embargo, no hay que olvidar que el sistema penal es el último en la cadena de actuación, con una capacidad de acción muy limitada y basada fundamentalmente en el castigo individual.
Por ello, una respuesta verdaderamente transformadora a la violencia de género no debe sostenerse de forma prioritaria en el aparato punitivo, sino en la prevención primaria a partir de la concienciación antipatriarcal y feminista mucho más liberadora y efectiva.
Profesora Ayudante Doctora de Derecho Procesal de la Universitat de València, forma parte del equipo investigador del Proyecto “Claves para una justicia digital y algorítmica con perspectiva de género” (PID2021-123170OB-I00), dirigido por la Profa. Ana Montesinos García y es integrante de OdiseIA.
