Inteligencia Artificial en sede judicial: ¿Quién y cómo controla el algoritmo? El principio de jurisdiccionalidad en el diseño y por defecto
Pere Simón Castellano
Profesor Contratado Doctor Universidad Internacional de la Rioja UNIR
Abogado Of Counsel de la firma Font Advocats
La Inteligencia Artificial (IA) en la Administración de justicia. Cómo y para qué
La Administración de justicia será digital o no será. La pandemia del covid-19 ha vuelto a poner de manifiesto los males y miserias que aquejan a nuestro sistema judicial, que debe superar cuanto antes el debate acerca de la conveniencia de abrazar el avance tecnológico.
Lo cierto es que nuestro sistema judicial ha alcanzado un nivel de saturación y bloqueo alarmante durante la pandemia por covid-19, unos meses dominados por la incertidumbre y la ausencia de una estrategia común, fruto, entre otros, de la policefalia y la atomización de las competencias y la disparidad de criterios entre las Comunidades Autónomas (Perea González, 2020).
Como reacción, el artículo 14 de la Ley 3/2020, de 18 de septiembre, establece la celebración de actos procesales mediante presencia telemática, de entrada, hasta el 20 de junio de 2021 inclusive, e indica que, constituido el juzgado o tribunal en su sede, los actos de juicio, comparecencias, declaraciones y vistas y, en general, todos los actos procesales, se realizarán preferentemente mediante presencia telemática. El problema empero es que los juzgados, tribunales y fiscalías no tienen a su disposición los medios técnicos necesarios para ello.
En este estado de cosas, en el que parece mentira que un juzgado no tenga medios -ordenador, conexión a internet, app y medidas de seguridad- para celebrar una videoconferencia, cuando tantos han sido durante los últimos meses los particulares que se han visto obligados a mantener comunicaciones profesionales y personales a través de estos sistemas, puede parecer que hablar de Inteligencia Artificial (IA) es en realidad hablar de ciencia ficción.
Sin embargo, la realidad es muy distinta y el avance de lo digital es imparable. Puede que la justicia sea el último bastión que pretende permanecer inmóvil frente al cambio; no obstante, eso no significa que no sea infranqueable. Identidad, pertenencia, participación, propiedad, comunicación, son algunas de las nociones que hoy significan algo muy distinto que hace tan sólo un par de décadas. Los ciudadanos hemos cambiado el enfoque y nuestras reclamaciones, que se adscriben a esa nueva realidad, también exigen que la justicia sea administrada de una forma ágil -cuando no con cierta inmediatez-, transparente -más comprensible y explicable- y eficaz -costes-.
Fuente: https://unsplash.com/photos/nSpj-Z12lX0
Usos de la IA en sede judicial
Así las cosas, cada vez son más los usos de la IA en sede judicial, tal y como se indica en la Carta ética europea sobre el uso de la inteligencia artificial en los sistemas judiciales y su entorno (CEPEJ, 2018). Destaca:
- El empleo de la IA para la propia gestión del seguimiento de archivos y expedientes judiciales, con indiferencia de la naturaleza del proceso o del orden jurisdiccional, que incluyen alertas tempranas;
- Para mejorar el acceso a la jurisprudencia en base al aprendizaje automático y son un activo considerable para complementar búsquedas o vincular varias fuentes legales y jurisprudenciales, incluso mediante técnicas de visualización de datos;
- Chatbots que faciliten el acceso a las fuentes de información existentes utilizando lenguaje natural y explicándolas;
- “Inteligencia Empresarial” y datos estadísticos de la actividad judicial que puede arrojar una información clave para realizar evaluaciones cuantitativas y cualitativas, cuyas conclusiones deberían contribuir a mejorar la eficiencia de la justicia, haciendo proyecciones relativas a la carga de trabajo, los recursos humanos y el presupuesto necesario;
- La IA, en la jurisdicción civil y social, vinculada a la resolución extrajudicial de conflictos y controversias, en base a la predictibilidad y previsibilidad del resultado del proceso;
- Perfilado de jueces y magistrados y los destinados a anticipar, en sentido literal, el sentido de las resoluciones judiciales;
- La IA Judicial (en adelante, IAJ, siguiendo las siglas y terminología propuesta por Miró Llinares), para la sustitución o apoyo por parte de los sistemas de IA aplicados al proceso de determinación judicial de la responsabilidad por la perpetración de un delito, esto es, al sentencing o proceso de decisión, hasta la fecha propio de jueces humanos que parten de los heurísticos o atajos intuitivos (véase la conversación entre Kahneman y Sunstein);
- La IA no puede sustituir el juicio jurisdiccional, pero sí apoyarlo. ¿Cuándo? De forma muy especial cuando el juzgador opera en el vacío. Los supuestos típicos de la prisión provisional y la libertad condicional. Es aquí donde tienen sentido los sistemas expertos de IA Judicial de Valoración del Riesgo (en adelante, IAJVR), sobre el que volveremos a continuación.
- La IA para fines de vigilancia preventiva (IAP) engloba diferentes técnicas: la actividad predictiva o predictive policing (Miró Llinares, 2020) stricto sensu y el reconocimiento facial (González Fuster, 2020).
Los sistemas de IAJVR como alternativa a los atávicos heurísticos judiciales
Los sistemas expertos de IAJVR permiten conjurar el riesgo futuro de forma objetiva —riesgo de reiteración delictiva, de fuga, de destrucción de pruebas, de impago o evasión patrimonial, etc.—, al contar con una capacidad de procesar e interpretar ingentes bases de datos, información clave del investigado que obra en la causa y arrojar un porcentaje que tenga en cuenta todas las variables en juego, así como el precedente.
En la actualidad, este ejercicio jurisdiccional, siguiendo el ejemplo de la prisión provisional, se produce en muchas ocasiones desde el más absoluto vacío. Se anticipa al juicio, con datos e informaciones insuficientes, que son los que obran en la causa, y se toma una decisión en muchas ocasiones tras la vistilla del art. 505 LECr sin conocer qué posibilidad real existe, por ejemplo, de fuga. ¿Cómo se mide el arraigo social y familiar, o laboral? ¿Cómo se valoran las alternativas a la prisión preventiva? Lo cierto es que la práctica nos demuestra una realidad muy alejada de las proclamas jurisprudenciales, cercana al automatismo propio de buena parte de los heurísticos o atajos intuitivos del ser humano.
Procede recordar, además, que el juez no puede de oficio acordar la prisión preventiva. Le corresponde solicitarla a la acusación, en la mayoría de las ocasiones, el fiscal. Sin embargo, sobre quien pesa toda la responsabilidad es sobre los hombros del juzgador (véase este interesante webinar y debate, y las palabras de Celso Rodríguez, presidente del TSJ de Madrid, a partir del minuto 1:51:35), y más con el precedente penoso de la libertad bajo fianza por razones de salud psíquica y posterior huida de Carlos Ruiz Santamaría, más conocido como «El Negro», a la que siguió una enorme persecución mediática e incluso disciplinaria sobre los magistrados de la Audiencia Nacional.
Se trata, en definitiva, de una institución polémica que en muchas ocasiones es difícil o imposible de motivar, puesto que es imposible conjurar en ese incipiente momento procesal cuál es el nivel de riesgo real de aquello que se pretende enervar con la prisión. En cambio, esa proyección de porcentajes, incluso incluyendo las alternativas -retirada pasaporte, comparecencias apud acta, pulseras telemáticas, etc.- en juego, es un juicio que sí puede realizar un sistema experto de IAJVR, y no solo en base al precedente, sino también en base a la ingente cantidad de datos que puede llegar a procesar en abierto o que el propio investigado aporte voluntariamente.
La técnica permite apoyar hoy al juzgador en un ámbito en el que, por desgracia, ya se han tomado demasiadas decisiones que afectan a la libertad personal desde posiciones meramente subjetivas.
Fuente: https://unsplash.com/photos/yCdPU73kGSc
Quién controla y cómo al algoritmo.
En este interesante debate circunscrito en exclusiva al empleo de los sistemas de IAJVR para la toma de decisiones judiciales, la clave pasa por determinar quién controla y cómo al algoritmo.
Lo mejor para adivinar el modelo ideal pasa por reconocer nuestro presente, que precisamente, se sitúa a las antípodas de lo coherente y razonable. La Comisión Ministerial de Administración Digital del Ministerio de Justicia podría ser el órgano encargado de garantizar la adecuación de los sistemas de IAJVR a los principios y derechos jurídico-constitucionales. Para qué crear un órgano ad hoc, cuando ya existe un ente que bien podría reunir las competencias y funciones para participar en el diseño, control y gestión de la solución tecnológica. Sin embargo, el principal escollo o arista de la citada Comisión es quien la integra. No la integran jueces, fiscales, letrados de la administración de justicia, abogados u otros operadores jurídicos clave, por muy aberrante que parezca (véase aquí el perfil de los que la integran). También la Asociación Profesional de la Magistratura se ha mostrado sorprendida y ha criticado que la Comisión este integrada por personas legas, que no saben ni conocen qué es un procedimiento judicial o los problemas de los juzgados.
El debe ser pasa por incorporar todos los actores que juegan un papel clave en sede judicial, y muy especialmente, jueces, fiscales y abogados, quienes desempeñan un rol más que relevante en la decisión de adoptar o rechazar la prisión provisional, ya sea porque son quienes la adoptan, quienes la solicitan o quienes tratan de evitarla. Sabemos quienes deberían formar parte del órgano de control, para ejercer funciones relacionadas con la dirección y control, supervisión, diseño y mejora continua de sistemas IAJVR en sede judicial, y todo ello sometido al escrutinio del público.
Desde la óptica de los derechos y garantías (véanse los trabajos de Cotino Hueso, ambos de 2019), la independencia judicial deviene un baluarte a proteger a toda costa, que debe inspirar, junto a los principios de publicidad procesal y de rendición de cuentas y escrutinio público del poder judicial, el diseño, desarrollo, configuración, gestión y control de los algoritmos y códigos propios de sistemas de IAJVR. Lo anterior nos aboca a la transparencia, auditabilidad, explicabilidad y trazabilidad del código (referencia obligatoria el trabajo de Boix Palop, 2020), y a un sistema necesariamente de HIC, de control humano, por su participación, decisiva o no, para conjurar y estimar el porcentaje de riesgo o periculum que la prisión preventiva, en su caso, pretende enervar. Todo ello nos conduce a un nuevo concepto, que aúna transparencia, independencia y jurisdiccionalidad en el diseño y por defecto de los sistemas de IAJVR.
El principio de jurisdiccionalidad por defecto y en el diseño
El eventual empleo de los sistemas de IAJVR para conjurar, estimar y calcular el peligro real que pretende enervar la prisión preventiva, lo razonable sería que la Comisión u órgano de decisión deba estar integrada, mayoritariamente, por jueces y fiscales. Todos los argumentos esgrimidos con anterioridad serian de aplicación a fortiori, puesto que jueces y fiscales son precisamente los principales actores de esta medida cautelar o resolución provisional. Los que la adoptan y los que la interesan. Una vez más, muy importante incorporar la visión de los representantes de la abogacía y el consejo de la abogacía española, y, además, hacerlo con el reconocimiento de un papel y participación muy relevante. Puesto que nadie mejor que el letrado de la defensa para explicar la situación de desazón que a veces concurre con la adopción, casi como si se tratase de un automatismo, de tan peculiar medida o resolución provisional.
Con todo, esta es una idea que nos gusta agrupar bajo la voz de la jurisdiccionalidad desde el diseño del algoritmo. En este ámbito, de empleo de los sistemas de IAJVR en sede judicial para conjurar el riesgo de fuga, de reiteración delictiva o de destrucción de pruebas, la visión del jurista experto, y del juzgador, como único capacitado para la ponderación con garantías de los derechos fundamentales en juego, resulta clave; y actúa a modo de tutela última al proyectar su conocimiento sobre la realidad algorítmica.
¿Porqué desde el diseño?
El desarrollo tecnológico y las experiencias previas en el sector privado nos demuestran que es la única fórmula para evitar grandes costes a posteriori. Actuar ex ante, diseñando correctamente el código, deviene necesario. No es de extrañar entonces que normas de hard law como el RGPD ya contemplen principios como la privacy by design and by default. Una y otra no son necesariamente lo mismo, pero están conectadas y ambas requieren el trabajo desde el diseño, en la incepción de la solución tecnológica.
También el Parlamento Europeo, en relación con el desarrollo, empleo y gestión de sistemas de IA, ha señalado que los algoritmos de los sistemas de toma de decisiones no deben utilizarse sin una evaluación algorítmica de impacto preliminar, a menos que esté claro que no tienen un impacto significativo en la vida de las personas. Esa evaluación algorítmica de impacto implica realizar un juicio de proporcionalidad ex ante, incluyendo como decíamos todos los principios jurídico-constitucionales aplicables a los sistemas de la IA desde el diseño, y cuya principal garantía es la jurisdiccionalidad desde el diseño mediante el órgano de control.
El debe ser, ahora que ya nos hemos aproximado al órgano de control y a la que debiera ser su composición, incluye también el objeto y finalidad o función principal de ese órgano en relación con los sistemas expertos de IA, en general, y de IAJVR, en particular. Los propósitos son garantizar la independencia judicial, la imparcialidad del algoritmo, introduciendo la visión diversa del jurista —abogados, fiscales, letrados de la administración de justicia, funcionarios, etc.— y, muy especialmente, la jurisdiccionalidad desde el diseño del algoritmo o código del sistema de IAJVR, participando el juzgador en el establecimiento de los patrones y reglas lógicas, contribuyendo a digitalizar la mente y los procesos cognitivos de toma de decisiones del juez y del fiscal, y hacerlo a su vez garantizando la transparencia, trazabilidad, explicabilidad y auditabilidad del código de IAJVR.
Es ese órgano de control, integrado por juristas de diversa procedencia que representan lo mejor de distintas profesiones, junto a otros perfiles multidisciplinares o interdisciplinares, de naturaleza técnica, quien debe garantizar en la practica la publicidad y transparencia de todo el proceso —no sólo del sistema de IAJVR, empezando por el detalle de quién participa en la Comisión y quién tiene el encargo o deber de vigilancia y supervisión concreto, la trazabilidad del código de IAJVR —detalle de todas las acciones que llevan a cabo todos los agentes con poderes de gestión sobre el código o algoritmo, a modo de backlog o audit trail—, la explicabilidad —hacer fácil lo difícil, hacer comprensible para una persona lega las principales pautas y reglas lógicas que hacen que el algoritmo proyecte esas estimaciones— y auditabilidad —interna y externa, sometido al escrutinio y revisión periódica de ojos expertos ajenos, que puedan certificar eventuales vulnerabilidades o deficiencias en la configuración técnica del sistema—.
Ese es el prius necesario para luego acompañar el sistema de determinadas garantías. La impugnabilidad del código, vehiculada a través de los recursos en el caso concreto, como parte del derecho de defensa, del derecho a recurrir, del derecho a tener una segunda oportunidad. Y la imparcialidad del sistema de IAJVR, que garantiza y expulsa cualquier atisbo de sesgo discriminatorio, que pueda poner en tela de juicio que el juzgador, formal o sustantivamente, se haya apoyado en un elemento externo distorsionador, que haya condicionado su valoración del caso concreto de forma decisiva, basándose, eso sí, como decíamos, en un prejuicio de base discriminatoria.
La asunción de esas funciones por parte del órgano de control, en la práctica, descarta el eventual sesgo de los promotores, es decir, de las empresas privadas; evitando así situaciones paradigmáticas por lo que se refiere a la proyección del sesgo discriminatorio al algoritmo de IAJVR, como es el caso del sistema COMPAS y la harto criticable sentencia del Tribunal Supremo de Wisconsin en el asunto Wisconsin v. Loomis (véase Martínez Garay, 2018).
Profesor Contratado Doctor Universidad Internacional de la Rioja UNIR
Abogado Of Counsel de la firma Font Advocats
Docente en asignaturas de Grado y Postgrado en distintas universidades (UNIR, Universitat de Girona, UOC, ESERP Business School) y en colegios y asociaciones profesionales (Ilustre Colegio de Abogados de Barcelona, APEP, WCA). Profesor contratado Doctor (acreditado ANECA desde 2015). Premio de la Agencia Española de Protección de Datos (2011) y de la Agencia Vasca de Protección de Datos (2015). Investigador del Grupo de Investigación “PENALCRIM” UNIR. Investigador Principal del proyecto sobre prisión provisional RETOS UNIR.
- Twitter: @pere_simon
- Linkedin: https://es.linkedin.com/in/pere-simon-castellano
- Perfil en Dialnet: https://dialnet.unirioja.es/servlet/autor?codigo=3005648
- Perfil en Google Académico: https://scholar.google.es/citations?user=hCToG9MAAAAJ&hl=es
