Afectación de los derechos y garantías procesales por el empleo de algoritmos predictivos.
Ana Montesinos
Profesora titular de Derecho Procesal, Universitat de València
Vamos a abordar, en este breve espacio, la afectación de los derechos y garantías procesales que pueden verse de manera más inmediata comprometidos por el uso de sistemas algorítmicos predictivos en el seno del proceso judicial. Repárese que únicamente analizamos el supuesto en el que se adopta una decisión por parte del juez, apoyada en un software predictivo y no cuando es el mismo programa informático el que automáticamente emite la decisión (opción esta última que, hoy por hoy, descartamos).
Derecho de defensa e igualdad de armas
Recordamos, en primer lugar, unas mínimas pinceladas sobre el doble contenido del derecho fundamental de defensa. Por un lado, implica que las partes deben poder conocer todos los materiales de hecho y de derecho que puedan influir en la resolución judicial y, por otro, deben ostentar la facultad de poder alegar, probar y argumentar para conformar la convicción del juez.
Dicho esto, para permitir que las herramientas algorítmicas puedan auxiliar al juez en la resolución de determinadas decisiones que deben adoptarse en el seno del proceso (por ejemplo, relativas a la valoración de la prueba o a la idoneidad de la medida cautelar) debe asegurarse el derecho de defensa de las partes y la debida contradicción, así como la posibilidad de impugnar la resolución emitida con el auxilio de la máquina. Para ello, las partes deben necesariamente estar al tanto de todos los materiales que puedan influir en la convicción del juez, entre los que se encuentra el programa informático, del que deben conocerse sus elementos y características esenciales. Sin información sobre cómo se ha adoptado una decisión (esto es, en qué se ha apoyado), es difícil imaginar cómo los acusados van a poder cuestionar la exactitud o legalidad de la misma.
De manera que habrá de entenderse vulnerado el derecho de defensa si no se sabe cómo se ha obtenido el resultado de la decisión porque se desconoce cómo funciona la herramienta de la que se ha auxiliado el juez, y como consecuencia, se impide a la parte afectada, alegar, probar o argumentar en contra de dicho contenido. De ahí que una de las principales objeciones que se realiza al uso de estos sistemas sea precisamente la falta de trasparencia u opacidad del algoritmo. ¿Cómo vamos a defendernos frente a un algoritmo que es “secreto”? Ni por razones de secreto industrial ni porque estemos ante sistemas de aprendizaje automático con cajas negras, puede permitirse que se impida conocer cómo funciona el algoritmo o de qué datos se nutre. Precisamente en esta línea se pronuncian las instituciones europeas que exigen trasparencia y explicabilidad a las herramientas inteligentes.
En estrecha conexión con el derecho de defensa, queremos hacer referencia a la igualdad de las partes o paridad de armas que debe respetarse en todo proceso judicial.
Los sistemas algorítmicos predictivos pueden ser muy útiles para preparar el caso. Sírvase como ejemplo en nuestro país, la herramienta de analítica jurisprudencial Jurimetría. Pero debemos ser conscientes de que al mismo tiempo pueden generar graves desequilibrios cuando solo una de las partes dispone de ellos. De este modo, el principio de igualdad puede verse seriamente afectado cuando el empleo de tales sistemas por una de las partes pueda posicionarla en un estado de superioridad procesal frente a la otra. Pensemos el supuesto en el que una de ellas, al contar con estas herramientas, se encuentre en mejores condiciones de preparar su estrategia de defensa, mientras que la otra parte no puede servirse de tales recursos. Se produce lo que QUATTROCOLO denomina “asimetría cognitiva”, en el que una de las partes -generalmente la parte pública- tiene acceso a la mejor ciencia y mejores tecnologías, disponiendo de medios económicos ilimitados, mientras que la otra parte no puede acceder a ellos.
La presunción de inocencia
La presunción de inocencia es otro de los derechos que puede verse afectado por las herramientas predictivas, especialmente por aquéllas que valoran el riesgo de reincidencia. Veamos cómo puede verse quebrantado el mismo en su triple vertiente, es decir, como regla de tratamiento, regla probatoria y regla de juicio.
En primer lugar, este derecho implica que la persona acusada debe ser tratada y considerada inocente. Si el juez se auxilia de herramientas informáticas de evaluación de riesgos a la hora de dictar una resolución, estas van a tener presente no sólo los antecedentes penales del acusado y sus circunstancias presentes, sino también hechos futuros que pueden suceder o no. De manera que ya no se enjuiciarían los hechos pasados, reconstruyendo la verdad de lo sucedido y demostrándola más allá de toda duda razonable. Ahora, con estas herramientas, más bien se trata de analizar qué probabilidades existen para que algo ocurra, y juzgar a una persona por lo que potencialmente podría hacer. Se corre con ello el peligro de que el juez antes incluso de oír al sujeto en el juicio, se haga una idea predeterminada, lo que incide claramente en la presunción de inocencia, porque ya lo considera culpable. La imparcialidad del juez podría, por ende, verse gravemente perturbada.
En segundo lugar, la presunción de inocencia solo puede verse desvirtuada mediante prueba de cargo practicada con todas las garantías y valorada por el juzgador conforme al principio de libre valoración. Para establecer la culpabilidad o inocencia de una persona se requiere necesariamente de pruebas de cargo relacionadas con los hechos que se persiguen y que, además, sean concluyentes.
Al respecto, si bien reconocemos que determinadas herramientas algorítmicas pueden ayudar al juez a valorar la prueba (y, por ende, a apreciar la misma con mayor convicción), la decisión final no puede imputarse en exclusiva a una herramienta predictiva. Entendemos, por tanto, que se vería quebrada la presunción de inocencia si el juez atendiera al perfil (genérico) de riesgo del acusado que, además, se conforma sobre la base de las características de un grupo de personas determinadas de antemano por el programa informático sin tener en cuenta las circunstancias personales y concretas del caso.
En tal supuesto, lo que podría acabar sucediendo es que se alterara el contenido de la prueba, es decir, se invirtieran los términos, en el sentido de que el programa, por ejemplo, nos dijera que existe una alta probabilidad de que una persona sea culpable (peligroso) o vaya a reincidir y, como consecuencia, el acusado tenga que demostrar su inocencia y probar que el resultado emitido es erróneo. La carga de la prueba se trasladaría de la acusación a la parte acusada; esta última tendría que contradecir el dictado de la máquina.
Por último, como regla de juicio, preocupa el riesgo que supone que el juez se conforme, de manera acrítica, con la decisión proporcionada por el software sin contrarrestar ni cuestionarse sus resultados. Por ello, alertamos sobre el peligro de automatismo que conlleva. Esto cabe conectarlo con la motivación de las resoluciones judiciales que seguidamente veremos, pues el juez debería razonar por qué asume el resultado de la máquina o por qué lo rechaza, no pudiendo limitarse a reproducirlo sin más.
La motivación de las resoluciones judiciales
Por último, haremos referencia a la motivación de las resoluciones judiciales. Cabría pensar que el uso de programas informáticos podría incluso perfeccionar la motivación de una sentencia y no estaríamos errando. Ya existen sistemas informáticos capaces de ofrecer argumentos legales o jurisprudenciales que fundamenten una decisión; lo que, además, puede llevarse a cabo en tiempos inimaginables para un juez (humano). De manera que, efectivamente, podrían proporcionar una ayuda magnífica al órgano judicial, pero a su vez se provocaría el efecto inverso si el juez relegara en manos de la máquina tan importante función. Y ello con la desventaja de que, probablemente, la argumentación proporcionada no fuera individualizada al caso concreto. Adviértase, además, que en la labor de motivación por parte del juez, no se trata únicamente de exponer las razones de hecho y de derecho que justifican la decisión, sino de hacerlo con argumentos axiológicos que motiven la misma, y esto es algo que consideramos que difícilmente podrá hacer la máquina.
Cuestión distinta y que acarrea aún mayores problemas es la de aquellos sofisticados sistemas de deep learning, que funcionan como auténticas cajas negras. Esto es, a partir del análisis de los datos suministrados, son capaces de detectar patrones y correlaciones y de elaborar automáticamente una decisión, pero que ni siquiera sus programadores son capaces de explicar. La imposibilidad de razonar la solución afecta gravemente a la motivación de las decisiones basadas en los resultados proporcionados por tales sistemas.
Dicho esto, entendemos que se vulnera el derecho a la motivación de las resoluciones judiciales si estas únicamente manifiestan que se han basado en un programa informático, del que se limitan a mostrar sus resultados. Si el juez se asiste de softwares algorítmicos para adoptar una determinada decisión, la parte que se vea afectada por la misma, debe conocer el peso que ha tenido el resultado del algoritmo. Al mismo, por tanto, tendrá que hacer referencia el juez en la motivación de la resolución. Pero ni siquiera esto es suficiente. La parte tiene que conocer su funcionamiento y características. Solo así podrá recurrir la decisión que le perjudica.
Conclusiones
Todavía nos encontramos en un estado muy incipiente y limitado de implantación de sistemas algorítmicos predictivos, pero suficiente como para alertar sobre los riesgos que comporta su empleo en el proceso judicial.
En modo alguno barajamos la posibilidad de que estas herramientas computacionales pueda sustituir la función jurisdiccional. Sin embargo, sí somos partidarias, aunque con prudencia, de que estas herramientas auxilien a los órganos judiciales, dado que pueden aportar numerosos beneficios en términos no solo de celeridad y eficacia sino también de mejora de la calidad de una justicia menos arbitraria. Para ello, deben ser respetuosas con los derechos y garantías de naturaleza jurídico-constitucional que disciplinan el proceso.
Profesora titular de Derecho Procesal de la Universitat de València y codirectora del Máster en Derecho y Violencia de género de dicha universidad. Investigadora principal del Proyecto “Claves para una justicia digital y algorítmica con perspectiva de género” (PID2021-123170OB-I00).
