Sesgos y discriminación en la inteligencia artificial del sector público.

Lorenzo Cotino Hueso
Catedrático de Derecho Constitucional
Universitat de Valencia

Se sintetiza, a continuación, un profundo trabajo de investigación que ha sido publicado en abierto a lo largo de 2023, y a mi juicio, constituye una de las más importantes aportaciones sobre la discriminación y los sesgos de los algoritmos, especialmente para el ámbito público: Discriminación, sesgos e igualdad de la inteligencia artificial en el sector público. En este Observatorio señalo los aspectos más sustanciales si bien para cualquier persona interesada me remito a este extenso trabajo.

Los elementos básicos que se desarrollan, son los siguientes:

• Definición y ejemplos de sesgos y discriminación algorítmica pública.
• Causas habituales de la discriminación algorítmica.
• Criterios jurídicos para determinar cuándo los usos públicos de IA pueden tener un impacto discriminatorio, enfocándose en la discriminación por error.
• La aplicabilidad de categorías como la discriminación indirecta y acciones positivas.
• El análisis de los tratos diferentes o errores cuando no afectan a colectivos cuya discriminación está especialmente prohibida.
• El análisis cuando sí que impacta en estos colectivos especialmente protegidos (y su superposición con los tratamientos de datos especialmente protegidos).
• Se explica la inversión de la prueba de la discriminación y el sesgo algorítmico cuando el sector público utiliza IA.
• Mejores prácticas y regulación de la UE: Se mencionan las mejores prácticas para prevenir la discriminación algorítmica y las futuras obligaciones de la regulación de datos y de IA de la UE frente a los sesgos.
• Qué sucede si los remedios no funcionan: Si la prevención no es suficiente, se detalla cómo se aborda la discriminación algorítmica en términos de mitigación, corrección e incluso cese del uso de sistemas IA públicos, así como las responsabilidades legales.
• Autoridades y reacciones: Se concluye describiendo quiénes pueden reaccionar ante la discriminación algorítmica y qué autoridades deben actuar en estos casos.

Como he tenido ocasión de exponer, cada vez son más los tipos de uso público de software, sistemas automatizados, algoritmos e incluso sistemas de inteligencia artificial. Y los sistemas cometen errores, sesgos, y en ocasiones estos sesgos cuando tienen alguna relevancia pueden llevar a tratos diferentes a personas concretas o colectivos que no sean admisibles, en estos casos se da la discriminación algorítmica pública.

Nunca está de más mencionar algunos ejemplos de sesgos y discriminación algorítmica pública. Así, en Buenos Aires Guillermo, Federico Ibarrola fue erróneamente identificado por un sistema inteligente como prófugo y estuvo detenido seis días. Muy parecido a lo que le sucedió a Robert Williams en Detroit por otro falso positivo de reconocimiento facial. También los escáneres corporales de aeropuertos en EEUU (TSA) han marcado a los viajeros transgénero.

En el ámbito de salud, y de manera tampoco intencionada, las personas de color han sido postergadas para recibir tratamientos médicos a través de sistemas automatizados en Estados Unidos. Son conocidos los casos de sistemas de predicción de reincidencia de los individuos bajo custodia federal, que sobreestimaban o subestimaban a diversos grupos de color. En Europa, el sistema IA público de empleo austríaco (PAMAS) o en Polonia (Publiczne Służby Zatrudnienia, PSZ) los servicios públicos de empleo con algoritmos han generado discriminaciones respecto de mujeres de razas, específicas y de otras nacionalidades. Los usos son cada vez más variados, y por ejemplo, en educación en Francia el sistema de admisión Parcoursup distribuye el acceso de estudiantes. En 2020 en Reino Unido por el COVID no se realizaron los exámenes A-Level de acceso a la universidad, y los errores y sesgos del sistema, que al parecer beneficiaban a quienes habían sido educados en el sistema privado, llevaron a la dimisión de ministro de educación. En España, el bono social eléctrico con el lamentablemente secreto sistema BOSCO ha generado no pocos errores y los sistemas poco transparentes en el ámbito de seguridad y policial, muy posiblemente están generando sesgos y discriminaciones (sistema VeriPol, sistema VioGén, RisCanvi…)

Resulta de interés tener en cuenta las causas habituales por los que se generan los sesgos.

• Las máquinas fallan y las personas confiamos excesivamente en ellas, “Sesgo de automatización” en terminología del futuro Reglamento de IA. 
• La estupidez humana: forma en que el sistema fue programado
• Los programadores y proveedores de sistema de inteligencia crucial están integrados en su vasta mayoría por hombres blancos heterosexuales acomodados católicos-cristianos (77%)
• Es muy difícil operacionalizar todos los aspectos relevantes de una realidad social, programadores pueden obviar algunas variables, introducir sesgos en el sistema.
• Los seres humanos tienen la capacidad de apreciar determinados elementos intangibles que no son captados por los sistemas automatizados 
• Los resultados finales se basan en correlaciones, no causalidad, inferencias erróneas 
• Como es habitual en este sector si entra basura- sale basura, esto es, si los datos de entrada son malos o no han estado bien depurados, están purgados los posibles sesgos los resultados del sistema de inteligencia artificial muy probablemente serán también erróneos
• Sistemas automatizados procesan la realidad social, construida sobre estructuras que discriminan 
• Algoritmos incorporan, reproducen y perpetúan estas estructuras de discriminación
• La eficiencia hace que pierdan de vista otros objetivos de interés general como la protección de los segmentos más vulnerables
• Falta de medios o voluntad para supervisar y controlar los sistemas automatizados

Como luego se señalará frente a estas y otras muchas causas de los sesgos y la discriminación de los sistemas algo rítmicos hay toda una batería de medidas especialmente preventivas para eliminar o minimizar al máximo, los sesgos y estas probabilidades de discriminación.

El estudio se centra en fijar los criterios de cuándo los usos públicos de IA pueden tener impacto y relevancia como discriminatorios. Si trata de un primer paso, por el cual hay que establecer criterios jurídicos para determinar si el error o sesgo llega a tener un impacto o relevancia jurídica, suficiente para considerar que ha afectado a la esfera de intereses de un individuo o un colectivo.

Asimismo, resulta de interés en el estudio que se proyectan al ámbito de los algoritmos los diferentes conceptos de discriminación: “neutras”, indirectas, encubiertas, directas, por asociación, por error, acciones positivas…

Y puede resultar de interés insistir en que, en la mayoría de los casos, los sesgos y discriminaciones se producen de manera involuntaria, es más el sistema automatizado inteligente es un sistema aparentemente objetivo que no establece expresamente tratos diferenciados erróneos.

Y yo iba a pensar en la doctrina que la categoría de discriminación aplicable es la de las discriminaciones neutras o indirectas. No obstante, en la mayoría de los casos y yo no aporta ninguna ventaja, puesto que los errores no sean proporcionales ni razonables, sino que serán relevantes o irrelevantes, por lo que el análisis jurídico no tratará de justificar razonablemente un trato diferente. Resulta de interés tener en cuenta la categoría de discriminación "por error" que hay introducido la ley de 2022.

También puede ser útil la categoría de las "acciones positivas algorítmicas". Se tratará por lo general de medidas directa y voluntariamente adoptadas para modular o compensar los tratos diferentes, que produce un sistema algorítmico. Y si qué será posible analizarlas especialmente desde la proporcionalidad para su admisión.

Sobre estas bases, los criterios de cuándo un sistema algorítmico público es discriminatorio son detallados. En primer lugar, cuando NO se trata de discriminación especialmente prohibida, se afirma que el control jurídico de un sistema algorítmico público que establece tratos diferentes se superpone en particular con el de arbitrariedad y las exigencias de motivación. Esto sucede en especial en los usos de sistemas IA para ejercer potestades discrecionales.

Y el mayor interés se suscita cuando un sistema algo rítmico público establece tratos diferentes que afectan a colectivos, especialmente prohibidos de discriminar, como pueden ser por sexo, raza, orientación sexual, religión, etc.

Pues bien, cuando NO se trata de discriminación especialmente prohibida obviamente se tienen en cuenta los criterios de el canon de control estricto y la inversión de la carga de la prueba respecto de tales algoritmos públicos. No obstante, lo más relevante es que se sostiene que el control jurídico se superpone a las garantías de los tratamientos de datos especialmente protegidos. Es que únicamente no estaríamos en supuestos de tratamientos de datos especialmente protegidos cuando el sistema de IA público trate datos de “nacimiento”, género, “edad”, “lengua” o “situación socioeconómica”. En los demás casos hay que tener especialmente en cuenta el artículo 9 RGPD. Además de un tratamiento de datos, el uso público de IA podrá suponer también una decisión automatizada (art. 22 RGPD) con sus especiales garantías.

Así las cosas, en razón de la superposición de las garantías de no discriminación y sobre todo de protección de datos cuando un sistema público de algoritmos establezca diferencias en sus resultados, respecto de colectivos, especialmente protegidos, en muchos casos aplicarán las especiales garantías de:

• la necesidad de una ley de calidad y con garantías, 
• un canon de control “mucho más” estricto, e incluso excepcionalmente estricto, 
• Inversión de la carga de la prueba de la discriminación, siendo que el sector público habrá de probar que no discrimina.

Respecto de la inversión general de la carga de la prueba, se sostiene también que incluso se dará en casos que no afecten a colectivos tradicionalmente discriminados en razón del llamado data due process. Así, la carga de la prueba será del sector público por la indefensión en la que queda el administrado algorítmicamente, que está en una posición débil para poder probar que no está siendo discriminado que el sistema no genera errores sobre él. 

Así, para que un algoritmo diferencies por circunstancias prohibidas se impone una ley de calidad y con garantías y se da un canon de control “mucho más” estricto, e incluso excepcionalmente estricto.

Se analizan supuestos complejos, como el uso por el sistema IA público de “proxies” o datos afines a los especialmente sospechosos de discriminación, así como los tratos diferentes a grupos que los algoritmos generan dinámicamente:

• uso por el sistema IA público de “proxies” o datos afines a los especialmente sospechosos de discriminación,
• tratos diferentes a grupos que los algoritmos generan dinámicamente,
• uso de proxies, como se verá infra, datos o variables que son “aparentemente neutros”, pero de los que el sistema IA acaba derivando un tratamiento perjudicial para colectivos especialmente discriminados. En estos supuestos también se puede acudir al concepto de discriminación por asociación algorítmica se estaría propiamente en el ámbito de la discriminación algorítmica indirecta cuando el sistema de IA público no diferencia en sus efectos y resultados a los colectivos especialmente discriminados, es decir, cuando arroja resultados iguales para categorías diferentes. Este tratamiento algorítmico aparentemente neutral puede ser inaceptable. 

En el estudio se exponen las mejores prácticas contra la discriminación algorítmica y se afirma que muchos de estos remedios preventivos, así como los estudios de impacto son ya obligatorios en el diseño de los usos públicos de la IA. Eso es especialmente en razón de la aplicación que obliga a análisis de riesgos y sobre todo estudios de impacto obligatorios, por ser tratamientos masivos de datos con sistemas automatizados.

Asimismo, especialmente, hay que tener en cuenta en la protección de datos, la proyección de los principios de responsabilidad proactiva, y sobre todo el principio de calidad de los datos que han de servir para entrenar los algoritmos públicos. Estos principios son ya exigibles.

Además, en el futuro cercano del reglamento de inteligencia artificial, las medidas preventivas son mucho más intensas para los sistemas de alto riesgo. En este sentido hay que recordar las futuras obligaciones del reglamento de datos y de IA de la UE frente a los sesgos. Especialmente hay que tener en en cuenta el artículo 10 sobre Datos y gobernanza de datos. En razón del mismo, hay que precisar los conjuntos de datos de entrenamiento, validación y prueba que cumplan los criterios de calidad, prácticas adecuadas de gobernanza y gestión de dato, “en particular”: 

• tener en cuenta las opciones de diseño, recogida de datos, procesamiento de preparación de datos, anotación, el etiquetado, la limpieza, el enriquecimiento y la agregación.
• Si ha de tener en cuenta la información que los datos deben medir y representar.
• Es preceptiva una evaluación previa de la disponibilidad, la cantidad y la idoneidad de los conjuntos de datos que se necesitan.
• Hay que evitar posibles sesgos que puedan afectar a la salud y la seguridad de las personas físicas o dar lugar a discriminaciones prohibidas por el Derecho de la Unión
  evitar posibles lagunas o deficiencias de los datos, y la forma de subsanarlas.
• Deberán ser pertinentes, representativos y, en la medida de lo posible, libres de errores y completos. Deberán tener las propiedades estadísticas apropiadas.
• Deberán tener en cuenta, en la medida en que lo requiera la finalidad prevista, las características o elementos propios del entorno geográfico, conductual o funcional específico en el que se pretende utilizar el sistema de IA de alto riesgo.
• Para garantizar la supervisión, la detección y la corrección de sesgos podrán tratar categorías especiales de datos personales.

Especialmente para evitar los sesgos y errores, las medidas obligatorias en razón del artículo 15, sobre Precisión, solidez y ciberseguridad. Ahí se disponen obligaciones sobre:

• Los niveles de precisión y las métricas de precisión pertinentes de los sistemas de IA de alto riesgo se declararán en las instrucciones de uso que los acompaña.
• Los sistemas deberán ser resistentes en lo que respecta a los errores, fallos o incoherencias que puedan producirse en el sistema o en el entorno en el que opera el sistema, en particular debido a su interacción con personas físicas u otros sistemas.
• La solidez de los sistemas de IA de alto riesgo puede lograrse mediante soluciones técnicas de redundancia, que pueden incluir planes de respaldo o a prueba de fallos.
• Después de ser comercializados o puestos en servicio se desarrollarán de manera que se elimine o reduzca en lo posible el riesgo de resultados posiblemente sesgados.
• Los "bucles de retroalimentación” se han de abordar debidamente con medidas de mitigación adecuadas.
   

Resulta de gran interés la regulación de la Carta de derechos digitales tanto sobre la evitación de la discriminación en su regulación de la inteligencia artificial, como en especial las garantías en el ámbito del sector público. Aunque no se trata de una norma jurídica, de momento, ya ha inspirado el artículo 23 Ley 15/2022, de 12 de julio. Éste precepto incluye términos muy laxos (“favorecerán”, “tengan en cuenta”, “siempre que sea factible”, “se promoverá”, “priorizarán”, “promoverán”). En todo caso, afirma “los algoritmos involucrados en la toma de decisiones que se utilicen en las administraciones públicas tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea factible técnicamente.

En estos mecanismos se incluirán su diseño y datos de entrenamiento, y abordarán su potencial impacto discriminatorio.

Para lograr este fin, se promoverá la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio” (1º) 
y “priorizarán la transparencia en el diseño y la implementación y la capacidad de interpretación de las decisiones adoptadas por los mismos.” (2º).

Así pues, los modelos preventivos de cumplimiento normativo se basan sobre la idea del más vale prevenir que curar y han sido expuestos y generan obligaciones para los poderes públicos que utilicen sistemas algorítmicos. 

Y si los remedios preventivos no valen, el estudio detalla qué sucede cuando se detecta una discriminación algorítmica pública: mitigación, corrección e incluso cese de uso del sistema IA público; nulidad, anulabilidad e inderogabilidad de los sistemas de IA, los efectos de la discriminación algorítmica en el contexto de la contratación administrativa y algunas notas sobre la responsabilidad por el uso de IA público.

Así, se hace un repaso de las obligaciones de mitigación, rectificación, corrección e incluso cese de uso del sistema IA:

artículo 25. 1º Ley 15/2022, además de las medidas preventivas y de detección, “obliga” a “la articulación de medidas adecuadas para el cese de las situaciones discriminatorias”; “3. Ante un incidente discriminatorio, las autoridades encargadas de hacer cumplir esta ley tomarán las medidas oportunas para garantizar que los hechos no vuelvan a repetirse, especialmente en los casos en los que el agente discriminador sea una administración pública. Se dispone que hay que “adoptar las medidas oportunas y proporcionadas para su eliminación” (art. 31.1º).

Ya en el ámbito de la normativa reguladora del procedimiento administrativo, las reacciones pueden ser muy variadas, así:

• medidas provisionales (art. 56 LPAC),
• posibilidad de la suspensión de actos (art. 108 LPAC),
• suspensión de la ejecución del acto o actuación impugnada, por tratarse de una posible causa de nulidad de pleno por discriminación, bien por los perjuicios de imposible o difícil reparación (art. 117. 2º LPAC).

Cambia la normativa de protección de datos puede ser útil para la reacción frente a un caso de discriminación algorítmica. Así:

• Se deberán cumplir las órdenes de las autoridades (art. 58 RGPD),
• las “medidas provisionales y de garantía de los derechos”, que pueden incluir el “bloqueo de los datos y la cesación de su tratamiento”, incluso “su inmovilización” (art. 69 Ley orgánica 3/2018),
• la resolución de una infracción incluirá las medidas “para que cese la conducta o se corrijan los efectos de la infracción” (art. 77.2º Ley orgánica 3/2018).

También, y sin agotar todas las posibilidades que el ordenamiento jurídico ofrece, cabe tener en cuenta las reacciones frente, una discriminación Algorítmica, en razón del reglamento inteligencia artificial, cuando se trate de un sistema de “alto riesgo”. Así, pueden proceder:

• “medidas correctoras” en cuanto detecten que el sistema no cumple con el RIA (art. 16).
• Se investigarán inmediatamente, en su caso, las causas” (art. 21).
• Se informará a los organismos y autoridades competentes (art. 22).
• La autoridad de vigilancia del mercado tendrá que evaluar el sistema y “exigirá sin demora indebida al agente económico correspondiente que adopte todas las medidas correctoras adecuadas”,
• “todas las medidas provisionales adecuadas para prohibir o restringir la comercialización del sistema de IA en su mercado nacional, retirar el producto de ese mercado o recuperarlo,
• habrá de informar a las autoridades competentes.

Finalmente se detalla quiénes pueden reaccionar ante una discriminación algorítmica y qué autoridades deben actuar. En este punto no hay que olvidar las autoridades específicas de igualdad, las autoridades de protección de datos, así como la nueva agencia de supervisión de la inteligencia artificial. Todo ello, sin excluir al sector de la administración del que se trate. 

Catedrático de Derecho Constitucional de la Universitat de Valencia (4 sexenios Aneca), Magistrado del TSJ Comunidad Valenciana 2000-2019, vocal Consejo de Transparencia C. Valenciana desde 2015. Doctor y licenciado en Derecho (U. Valencia), Máster en Derechos Fundamentales (ESADE, Barcelona), Licenciado y Diplomado de Estudios Avanzados de Ciencias políticas (UNED). Director de privacidad y derechos de OdiseIA. www.cotino.es