Control judicial de los algoritmos de la A la Z
Alfonso Peralta Gutiérrez
Juez experto en inteligencia artificial. Poder Judicial. Granada.
- La hora de aplicar la regulación.
Tras dos años de tramitación parlamentaria, la ley europea de inteligencia artificial se espera que la preparación para su aplicación comience en 2026. Es la hora de comenzar a interpretar y aplicar la regulación, comenzando por las administraciones públicas, quienes deberían ser las primeras en dar ejemplo, estando obligadas a ello.
Sin embargo, ¿existe un verdadero compromiso en sacar una IA ética, de alta calidad y minimizando los riesgos? O por el contrario, ¿pretenden aprovechar los próximos tres años hasta que entre en vigor el reglamento, esperando que no tendrán responsabilidad ninguna?
Aunque pueda parecer algo lejano el control e interpretación judicial del reglamento europeo de inteligencia artificial en los tribunales, veremos que no es así. Y sin necesidad de la aprobación del reglamento.
- Jurisprudencia de control judicial de los algoritmos:
- Compas y b. RisCanví
El archiconocido COMPAS realiza una puntuación predictiva del riesgo de reiteración delictiva de los presos y sujetos a libertad condicional, para ayudar a su clasificación, supervisión, rehabilitación y adopción de medidas de seguridad.
Tras analizar la validez de los resultados de COMPAS, se encontró que el algoritmo no es más fiable que cualquier humano sin preparación y había sospechas de que favorecía a los blancos frente a los negros.
La defensa del Sr. Loomis recurrió la condena en la que se usó el sistema porque el algoritmo del programa es secreto (lo que se denomina “black box”) y porque se basaba entre otros factores en la raza del condenado lo que sería discriminatorio. El Tribunal Supremo de Wisconsin desestimó el recurso en cuanto que la raza fue únicamente uno de los factores a tener en cuenta, el acusado podía no haber contestado la valoración y se reconoció la importancia de individualización de las sentencias, siendo COMPAS un elementó más a ponderar.
Poco difiere este programa del que funciona en Cataluña, RisCanvi, para dar respuesta a la evaluación y gestión del riesgo de la población penitenciaria catalana.
- Syri.
El gobierno holandés creó SyRI para prevenir y combatir el fraude a la seguridad social, a través de perfilados que luego dieran lugar a un examen más detenido. Según LAZCOS MORATINOS Y CASTILLO PARRILLA (2020 pg. 220) se trata de un “sistema de procesado de datos en masa”. El Tribunal de La Haya ordenó la paralización del programa, al concluir una protección insuficiente frente a las medidas desproporcionadas adoptadas, la falta de transparencia y de información a los interesados (COTINO (2020)).
En España, existe un algoritmo secreto para rastrear bajas laborales y posibles fraudes, que determina qué expedientes de baja se revisarán primero. De igual manera, el algoritmo está rodeado de falta de transparencia y opacidad y se le acusa de datos desbalanceados y baja fiabilidad.
- Proyecto Detección y d. Sistema VioGén
El Proyecto Detección (Senging) buscaba prevenir y detectar delitos contra la propiedad a través de un scoring. Uno de los indicadores era si las personas a bordo del vehículo eran de Europa Oriental. El Tribunal Supremo de Holanda (Hoge Raad) estableció que este sistema realizaba un tratamiento discriminatorio, en cuanto que aparte de la nacionalidad no existe una razón objetiva para dicho trato desigual.
En España, el sistema VioGén ayuda a que los agentes puedan valorar el riesgo de que una mujer vuelva a sufrir violencia de género. Son indicadores que suponen un aumento de la valoración del riesgo de reincidencia ser menor de 24 años, que la víctima sea extranjera y que el autor tenga deudas o haya sido despedido de su empleo.
Eticas Foundation en colaboración con Fundación Ana Bella, Red de Mujeres Supervivientes intentó acceder al algoritmo y muestra sus “preocupaciones en relación con la transparencia, la supervisión independiente, la rendición de cuentas, la participación de los usuarios finales y la transición al Machine Learning”.
- Hesse, plataforma “hessenDATA” o una “evaluación” de datos (Hamburgo)
Otros casos policiales son Hesse, plataforma “hessenDATA”) o una “evaluación” de datos (Hamburgo) y que fueron declarados inconstitucionales por la Primera Cámara del Tribunal Constitucional Federal en sentencia de 16 de febrero de 2023 (1 BvR 1547/19, 1 BvR 2634/20 por vulnerar la protección de datos por falta de límites de la injerencia en una redacción demasiado amplia.
De esta forma, lo que se censura según COTINO (2023) es un uso prolongado y no específico del sistema (párr. 167), sin un peligro concreto o particular.
Edward Bridges fue el primero que desafió el uso del reconocimiento facial a tiempo real por parte de la policía de Gales del Sur, alegando vulneración de privacidad e igualdad.
El sistema AFR Locate, con cámaras en vehículos policiales y postes era capaz de escanear 50 caras por segundo, sin límite de cantidad y con el objetivo de procesar tantas como fuera posible. En 50 despliegues, se calcula que escanéo alrededor de 500.000 rostros de personas no sospechosas, sin interés policial y sin su consentimiento (16).
El Tribunal de Apelación consideró que el uso de la tecnología infringía la normativa debido a “deficiencias fundamentales” en el marco legal por una excesiva discrecionalidad. Asimismo, la evaluación de impacto de protección de datos no evaluó adecuadamente los riesgos y no abordó las medidas previstas para mitigarlos, resolver las deficiencias y la posible discriminación indirecta en caso de error, (COTINO (2023).
El activista Sr. Kotov, fue detenido por infracción administrativa sobre "actos públicos" por viajar en el metro de Moscú con un maniquí suyo a tamaño real de cartón sosteniendo una pancarta. Después habría sido arrestado gracias al reconocimiento facial.
El demandante fundamenta que el reconocimiento facial no tiene soporte legal para infracciones administrativas pues únicamente se permite para delitos graves, desaparecidos o prófugos y motivos de seguridad nacional. De igual manera, sostiene ausencia de decisión judicial para la recolección, almacenamiento y uso de sus imágenes para la detención y para su validez como prueba.
El tribunal tiene serias dudas de la calidad de la ley y de que dichas normas sean claras y suficientemente detalladas, así como de la existencia de salvaguardas mínimas y garantías suficientes contra el riesgo de abuso y arbitrariedad. Además, afectando a la libertad ideológica, y no constituyendo infracción penal, el principio de necesidad decae y el uso de esta tecnología en este caso concreto fue desproporcionado.
Los sistemas inteligentes en control de fronteras según el futuro reglamento europeo estarán prohibidos.
El fondo del asunto es la transparencia y el acceso a la documentación del sistema y la invocación por la Agencia Europea de la protección de intereses comerciales.
El Tribunal de Luxemburgo considera que algunos de los documentos no tienen plusvalía, información sensible o valor comercial, de modo que su divulgación no puede conferir una ventaja a los competidores ni explica un perjuicio concreto y efectivo. Pero se deniega el acceso a otros que sí se consideran dignos de protección y que su difusión pueda causar un posible perjuicio, a pesar del interés en el debate público, crítico y democrático acerca de si unas tecnologías de control como las controvertidas son deseables y deben ser financiadas con fondos públicos.
Uno de los primeros casos de reconocimiento facial fue cuando tres usuarios de Facebook presentaron una demanda en 2015, alegando que la tecnología de de etiquetas invadía su privacidad pues recopiló los datos biométricos en secreto y sin consentimiento.
El Tribunal señaló que supone una amenaza a la privacidad ya que permitía identificar a los usuarios, sus ubicaciones, amigos, y una posible vigilancia y todo ello constituye un perjuicio concreto e identificable.
- Clearview AI.
El 10 de febrero de 2022, el Garante Italiano de Privacidad impuso a esta empresa norteamericana una prohibición de recopilación, ordenó la supresión de los datos, designar un representante en la UE así como una multa récord de 20 millones de euros.
Clearview es un motor de búsqueda de reconocimiento facial con una base de datos de al parecer más de 10 mil millones de imágenes faciales extraídas mediante técnicas de web scraping de redes sociales, blogs, medios de comunicación, y, en general, de sitios web o vídeos. Las procesa algorítmicamente con técnicas biométricas para determinar su coincidencia y cuando un cliente envía una imagen para buscar, se compara y ofrece un resultado junto con una serie de metadatos y geolocalización.
La autoridad sueca de protección de datos reprochó a su policía haber utilizado Clearview sin garantizar su constitucionalidad, sin cumplir el principio de necesidad ni realizar evaluación de impacto.
A su vez se abrieron expedientes en Francia, Reino Unido, Australia, Grecia o Canadá. Pero a nivel judicial lo más importante sería el acuerdo al que esta empresa habría llegado ante la juez Sharon Johnson Coleman del Juzgado de Distrito Norte de Illinois para evitar una demanda colectiva por vulneración de protección de datos por una cantidad millonaria que ni siquiera se ha hecho pública .
- Deliveroo Italia SRL y m. Uber
En el ámbito laboral, unos sindicatos demandan a Deliveroo Italia SRL por discriminación en las condiciones de trabajo de los riders. Esta sentencia supera a la de Uber de la Corte Suprema del Reino Unido, porque no sólo analiza la existencia de una relación laboral de los riders sino que entra en el análisis de la posible discriminación del algoritmo y en particular de los parámetros de tratamiento del llamado “ranking reputacional” (CASTILLO PARRILLA (2021))
Así, el algoritmo no permitiría las ausencias al trabajo por motivos de huelga, enfermedad, o por ejemplo cuidado de familiares o hijos, de tal manera que estaría impidiendo en la práctica el ejercicio de derechos, permisos y licencias reconocidos legalmente. El código se convierte en la ley como dice LESSIG. Dice el tribunal de Bolonia, que Deliveroo no sabe y no quiere saber los motivos y por lo tanto es responsable.
- Ans Rana y m. vehículos autónomos o robots.
Ans Rana, fue alcanzado por detrás por una furgoneta de reparto de Amazon dejándole con graves lesiones y ha demandado a dicha compañía por el algoritmo que utilizan sus conductores. Amazon impondría un ritmo de ruta que afecta al scoring y remuneración del conductor. Según el demandante, Amazon exige unas velocidades poco realistas, por encima de los límites legales y peligrosas. De esta manera también sería responsable del accidente por la situación de estrés y exigencias de velocidad y rendimiento al conductor.
En materia de responsabilidad civil, ya han existido múltiples accidentes con vehículos autonómos o robots, incluso con resultado de muerte.
ñ. Connecticut Fair Housing Center (Arroyo) vs Corelogic
El caso Connecticut Fair Housing Center (Arroyo) vs Corelogic se basa en un software de selección de inquilinos que rechazó a un solicitante debido a una detención por hurto, antes de quedar discapacitado. El tribunal desestima la moción de juicio sumario y habrá que esperar al juicio y sentencia para conocer en profundidad este caso complejo.
En septiembre de 2012, se comparó el perfil de ADN de Chubbs, un afroamericano, con el perfil de ADN principal del esperma de una violación y se encontró una coincidencia. Para ello se había utilizado el software TrueAllele. El sospechoso, presentó una moción para obligar al descubrimiento de los códigos fuente.
La defensa recibió varios elementos de descubrimiento pero no los códigos fuente por considerarse secreto comercial.
El tribunal consideró que es el acusado el que tiene que demostrar prima facie la relevancia y necesidad del secreto comercial para su divulgación o para emitir una orden de protección del mismo. Sin embargo, Chubbs no cumplió con su carga de la prueba.
El tribunal exige algo más que declaraciones generales y que se aborde de manera concreta y justificada la necesidad del código, cómo se utilizaría y qué podría revelar en relación al procedimiento. No basta con que pueda ser útil sino una prueba razonable de que es relevante y necesaria para la prueba, la defensa y para dictar la resolución.
- New Jersey v. Francisco Arteaga y q. ABIS
Sin embargo, en New Jersey, hay otros asuntos que sí se ha admitido el acceso al código fuente mediante una orden de protección a puerta cerrada. En el caso New Jersey v. Francisco Arteaga se solicita el descubrimiento de la tecnología de reconocimiento facial (FRT) para la identificación del sospechoso en un robo con arma de fuego en una tienda. Al descubrir que la tecnología FRT tuvo un papel importante en identificación por los testigos, la defensa solicitó el código fuente y otros extremos. Eso sí, con una declaración de un experto, sus posibles problemas de fiabilidad y la razón de la necesidad del descubrimiento para evaluar sus resultados y rendimiento. De esta manera, se considera que la prueba solicitada está directamente vinculada con la defensa en la posibilidad de sembrar la duda razonable.
En España, el Ministerio de Interior está entrenando un algoritmo para su nuevo sistema ABIS, "sistema automático de identificación biométrica". Es un programa informático que la policía española podrá aplicar sobre grabaciones y fotografías de la escena de un posible crimen.
- State v. Pickett.
Siguiendo la misma doctrina, en State v. Pickett se impugna un software novedoso de genotipificación probabilística para pruebas de ADN. El Tribunal considera que cuando están en juegos libertades civiles, la revisión independiente del código fuente es fundamental para determinar la fiabilidad y el acusado tiene derecho a acceder a la misma a través de una petición de descubrimiento con orden de protección siempre que 1) exista una base racional apoyada por un experto, 2) se solicite información específica, 3) se pueda salvaguardar la propiedad intelectual mediante orden de protección y 4) cualquier otro factor relevante.
- Asunto TJUE C- 634/21 OQ contra Land Hessen, SCHUFA Holding AG.
SCHUFA Holding AG («SCHUFA») es una sociedad de solvencia crediticia que facilitó una puntuación que sirvió de base para la denegación de un crédito a un ciudadano que lo había solicitado. Este pidió entonces que suprimiera el registro de sus datos y le diera acceso a los mismos, pero la empresa solo le comunicó el score relevante de manera general, los principios que subyacían al método de cálculo, sin informarlo sobre los datos concretos por constituir secreto comercial.
El Abogado General destaca que el interesado no sólo tiene derecho a obtener la confirmación de si se están tratando o no datos personales, sino también otra información, como la existencia de decisiones automatizadas, incluida la elaboración de perfiles, información significativa sobre la lógica aplicada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado. Esto último es, las explicaciones suficientemente detalladas sobre el método utilizado para el cálculo del score y sobre las razones que han conducido a un resultado determinado.
La protección del secreto comercial o de la propiedad intelectual constituye, en principio, un motivo legítimo pero no puede justificar la denegación total de información.
- Bosco.
La FUNDACIÓN CIVIO solicitó al Consejo de Transparencia y Buen Gobierno, una serie de información y el código fuente del programa BOSCO, utilizado por el Ministerio para la Transición Ecológica, al objeto de reconocer o no el derecho al bono social.
La petición fue estimada parcialmente y en el recurso ante la Audiencia Nacional (Juzgado Central De Lo Contencioso Administrativo Nº 8, Procedimiento Ordinario 0000018/2019, St 143/2021) se deniega el acceso al código fuente por riesgo de posibles vulnerabilidades debido a informes de Industria y el Centro Criptológico Nacional.
Se desestima el recurso interpuesto, habiéndose interpuesto recurso de apelación.
- ChatGPT
Al parecer ya se habrían interpuesto las primeras demandas contra el revolucionario sistema Chatgpt de OpenAI. La primera se basaría en la vulneración de datos personales, en cuanto que el sistema habría “escrapeado” datos personales de manera no autorizada. La segunda, habría sido por presunta vulneración de derechos de autor.
- , w., x., y. y z. Bard, Llama, NeoCortext, Stability AI y Prisma Labs.
Estas últimas letras quedan para las demandas que se han interpuesto frente a otros sistemas de IA generativa como Bard, Llama, NeoCortext, Stability AI o Prisma Labs. En general, al igual que la aplicación de OpenAI se les acusa de vulnerar protección de datos o propiedad intelectual.
La aplicación "deep fake" Reface es acusada de infringir la ley de publicidad de California al permitir a los usuarios intercambiar caras con personajes famosos, aunque sin recibir autorización de ellos.
- Conclusiones.
Ya hemos visto decisiones de tribunales extranjeros declarando la ilicitud de sistemas similares a los que funcionan en nuestro país. O estimando el acceso a los códigos fuente en ciertos casos.
¿Existe una transparencia de los algoritmos públicos?, ¿una proporcionalidad y necesariedad en el caso de afectación a derechos fundamentales?, ¿su regulación es clara y precisa respecto a las injerencias?, ¿se informa a los ciudadanos de los perfilados que se les realiza?, ¿se publica información significativa sobre la lógica aplicada, así como la importancia y las consecuencias en el caso de decisiones automatizadas?, ¿se ha obtenido su consentimiento o existe base legal para el interés público?, ¿se ha comprobado si el sistema tiene sesgos o perpetúa un tratamiento discriminatorio y si éste está justificado?, ¿se han realizado evaluaciones de impacto con medidas de mitigación de los riesgos y las debidas garantías?
¿Veremos decisiones jurisdiccionales declarando la prohibición de algoritmos españoles? Bosco se encuentra pendiente de recurso. Es decir, el camino no ha terminado con la aprobación del Reglamento europeo de IA, sino que acaba de comenzar, y los tribunales tendrán mucho que decir.
Consultor de la UNESCO para el Comité Global Toolkit AI and Rule of Law y docente en la Universidad de Naciones Unidas (UNU-EGOV). Codirector del curso "Derecho e Inteligencia Artificial" del CGPJ con la Universidad de Granada. Coeditor del libro homónimo. Codirector del Máster "Digital Law and business tech" de Ediae- Escuela de Dirección y Altos Estudios. Doctorando en la Universidad de Granada, sobre la "Tecnocensura de los algoritmos a la libertad de expresión".
