Conferencia: "Vulnerabilidad, Discriminación y Sesgos algorítmicos: Una nueva hoja de ruta en Europa para la salvaguarda de derechos fundamentales ante “riesgos inaceptables” asociados a la IA".

Mª Teresa García-Berrio Hernández
Profesora Titular de Universidad de Filosofía del Derecho en la Universidad Complutense de Madrid

La propuesta de un marco jurídico europeo común sobre la Inteligencia Artificial (IA), tal y como propone el Reglamento (UE) 2024/1689 por el que se establecen normas armonizadas sobre Inteligencia artificial, incorpora un sistema basado en la gestión de potenciales riesgos de discriminación de los usuarios de sistemas de IA. En este sentido, una de las cuestiones más controvertidas durante el proceso legislativo de elaboración del Reglamento europeo sobre IA fue precisamente su propuesta de establecer un nivel adecuado de prohibición a aquellos sistemas de IA que supongan «riesgos inaceptables» para la salvaguarda de los derechos fundamentales y para la garantía de la igualdad y la no discriminación de aquellos usuarios especialmente vulnerables.

Los seres humanos podemos ser especialmente vulnerables a la influencia maliciosa de la IA debido al daño psicológico que esta tecnología puede ejercer sobre nuestro inconsciente. Ante el potencial riesgo de explotación de nuestra vulnerabilidad humana, la legislación europea ha optado por dotar de una protección reforzada a quienes en función de su edad, de una posible discapacidad, de su estatus socioeconómico o de sus propias características personales son susceptibles de constituirse en usuarios vulnerables de los sistemas de IA.

En concreto, el Reglamento europeo sobre IA califica a aquellos sistemas que supongan una amenaza directa para las personas y para la garantía de sus derechos fundamentales como sistemas de “riesgo inaceptable” y los prohíbe expresamente. Esta prohibición se extiende a tres modalidades esenciales de sistemas de IA.

(i) En primer lugar, la prohibición se aplica a aquellos sistemas de IA que emplean la manipulación cognitiva en el comportamiento de individuos o grupos vulnerables, como niños y adolescentes; esta prohibición trata de abarcar el potencial de los dispositivos de IA para fomentar comportamientos peligrosos en los niños o inducir a comportamientos suicidas en los adolescentes. (ii) En segundo lugar, la prohibición se extiende a aquellos sistemas de IA que utilizan algoritmos para generar sesgos de identidad con el fin de clasificar a las personas en función de su estatus socioeconómico o de sus características personales -tales como la raza, el sexo, la nacionalidad, la orientación sexual o la religión-. (iii) Por último, el Reglamento europeo prohíbe específicamente aquellos sistemas de IA que utilizan la identificación biométrica, tanto en tiempo real como a distancia, o que emplean dispositivos de reconocimiento facial para la vigilancia.

Las implicaciones éticas del clausulado del artículo 5.1(a) del Reglamento europeo sobre IA son significativas, ya que esta disposición apunta simultáneamente a dos formas distintas de ejercer control, influencia o manipulación sobre el subconsciente de los usuarios de sistemas de IA, ya sea (i) mediante la manipulación en los procesos de toma de decisiones como (ii) mediante la desinformación para alterar convicciones éticas, morales, políticas o ideológicas de los usuarios. Este segundo modo de influenciar o alterar la libertad cognitiva de los usuarios de IA mediante la desinformación -o incluso mediante la información engañosa, como es el caso de las fake news- requiere de una investigación exhaustiva.

Si llevamos a cabo una interpretación amplia del artículo 5.1(a) del Reglamento europeo en materia de IA podemos deducir que, de aceptar la proposición de que el inconsciente humano debe estar protegido por el Derecho, no sólo se deben prohibir aquellas técnicas subliminales deliberadamente engañosas o manipuladoras utilizadas por los sistemas de IA, sino que se debe considerar adicionalmente otra cuestión jurídica de análogo tratamiento para aquellos sistemas de IA susceptibles de explotar la vulnerabilidad de los seres humanos. En concreto, el artículo 5.1(b) del Reglamento prohíbe expresamente aquellos sistemas de IA que exploten las vulnerabilidades de las personas “(…) con el objetivo de distorsionar materialmente el comportamiento de un individuo de forma que pueda causarle un daño significativo”. Esta segunda disposición tiene un ámbito de aplicación muy extenso, ya que abarca tanto a los sistemas de IA que interactúan directamente con los usuarios -como es el caso, por ejemplo, de los chatbots-, como a aquellos otros sistemas de IA basados en recomendaciones -los llamados “recomendadores” en el lenguaje computacional.

No obstante, es una ardua tarea la de tratar de identificar aquellas áreas de vulnerabilidad que pueden hacer que un sistema de IA entre en el ámbito de prohibición del artículo 5.1(b) del Reglamento europeo en materia de IA, no sólo por la ambigüedad conceptual del concepto de vulnerabilidad empleado en el articulado del Reglamento, si no, ante todo, porque el Reglamento hace recaer la carga de la prueba en los “usuarios vulnerables”. Esto último constituye sin lugar a dudas una deficiencia plausible de la regulación europea ya que, en la práctica, una persona que pretenda demostrar que un sistema de IA ha explotado un rasgo de vulnerabilidad de su personalidad, de su posible discapacidad o de sus circunstancias socio-económicas, deberá afrontar el insuperable reto de reunir pruebas convincentes para demostrar la intención maliciosa del sistema de IA.

Asimismo, otro de los medios empleados por los sistemas de IA para perpetuar estructuras discriminatorias es a través de la selección y ponderación de las variables que emplean los algoritmos para la medición y la predicción. Por ejemplo, si un sistema de calificación crediticia de un banco prioriza el nivel de ingresos sobre la capacidad de ahorro como indicador de la solvencia de sus clientes, esta decisión supondrá indudablemente una mayor desventaja para determinados colectivos que estadísticamente disponen de menor nivel de ingresos: véase mujeres, jóvenes trabajadores, inmigrantes o pensionistas. En efecto, cualquier selección inadecuada o errónea de datos personales durante el entrenamiento de un sistema de IA puede dar lugar a que el algoritmo tome decisiones injustas substanciadas en creencias preconcebidas, en predilecciones -o incluso en estereotipos sociales- que conduzcan inevitablemente a la estigmatización de grupos, minorías o personas vulnerables.

Los sesgos algorítmicos son, por tanto, errores que se generan en los sistemas de IA y que conducen inevitablemente a afianzar tanto (i) la modalidad de discriminación por diferenciación, es decir, cuando las personas reciben un trato idéntico en virtud de la ley aunque sus circunstancias difieran como (ii) la llamada discriminación por indiferencia, es decir, cuando las personas reciben un trato diferente a pesar de que sus circunstancias sean comparables.

Si atendemos a la doctrina del Tribunal Europeo de Derechos Humanos (TEDH), parecería poco probable que la segunda modalidad de discriminación por indiferencia llegara a tener un impacto significativo para la salvaguarda de derechos fundamentales. Sin embargo, con la implementación progresiva de sistemas de IA predictiva, el orden se ha invertido y cada día son más numerosos los ejemplos que podemos encontrar de esta segunda modalidad de discriminación en el uso habitual de algoritmos ante facto, como en el caso de la proliferación en espacios públicos de dispositivos de IA de reconocimiento facial para la vigilancia.

Adicionalmente, es preceptivo recordar que dentro del marco europeo tradicional de protección de derechos fundamentales frente al riesgo por discriminación se han integrado históricamente dos categorías distintas de instrumentos jurídicos para la salvaguarda de las personas frente a prácticas discriminatorias. (i) La primera categoría incluiría a los llamados instrumentos preventivos o ante-facto contra la discriminación y (ii) la segunda categoría incluiría a los conocidos como instrumentos reactivos o post-facto contra la discriminación.

(i) La primera modalidad de instrumentos antidiscriminatorios funcionan como mecanismos preventivos, ya que articulan mandatos que tratan de evitar la toma de decisiones discriminatorias. Un ejemplo de dicha modalidad de instrumento antidiscriminatorio ante-facto lo encontramos en la regulación que nos procura el artículo 9 del Reglamento (UE) 2016/679 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos, en la medida en que prohíbe el tratamiento de categorías especiales de datos personales; en concreto, “(…) datos que revelen el origen étnico o racial, las opiniones políticas, las convicciones religiosas o filosóficas, o la afiliación sindical, y el tratamiento de datos genéticos o biométricos dirigidos a identificar de manera unívoca a una persona física, datos relativos a la salud o datos relativos a la vida sexual o la orientación sexual de una persona física”.

(ii) Por su parte, el segundo tipo de instrumentos antidiscriminatorios, los conocidos como instrumentos reactivos o post-facto, tratan de revertir aquellas estructuras que colocan a las personas pertenecientes a determinados grupos o minorías en situaciones de desventaja o discriminación.

Huelga decir que la mayoría de mecanismos antidiscriminatorios intervienen ex post, es decir, después de que ya se haya producido la acción discriminatoria. Sin embargo, en el caso de los sesgos algorítmicos, la discriminación tiene una naturaleza preventiva ex ante substanciada en errores integrados en las bases de datos que serán utilizadas más tarde para el desarrollo de sistemas automatizados de toma de decisiones. Asimismo, el uso de algoritmos puede servir también para perpetuar estereotipos que sustentan estructuras sociales de discriminación. Efectivamente, cuando un sistema de IA emplea algoritmos predictivos, los datos de validación y prueba utilizados para entrenar al sistema reflejarán probablemente algunas de esas estructuras de discriminación aplicables a determinados grupos raciales, étnicos y minorías religiosas en posiciones históricas de desventaja; esto último daría como resultado, que el sistema de IA asuma que los sesgos que contiene son exactos o válidos. De hecho, se ha demostrado que cuando los sistemas de IA se emplean como herramienta predictiva para generar perfiles criminales ante delitos graves -tales como homicidio, asesinado o secuestro-, los datos de entrenamiento y validación empleados por los desarrolladores de estos sistema de IA se nutren de información relacionada con expedientes judiciales y casos que ya se han resuelto y, por consiguiente, el sistema tenderá a emplear un mayor número de perfiles masculinos pertenecientes a determinados grupos étnicos o minorías para generar «categorías sospechosas» o «categorías de prevención ante facto» de cara a la predicción de futuros ilícitos penales. En este mismo sentido se pronuncia el legislador europeo cuando en el apartado 4 del artículo 10 del Reglamento europeo expresamente establece que “(..) Los conjuntos de datos tendrán en cuenta, en la medida necesaria para la finalidad prevista, las características o elementos particulares del entorno geográfico, contextual, conductual o funcional específico en el que está previsto que se utilice el sistema de IA de alto riesgo”.  El objetivo de esta disposición no es otro que el de garantizar que los sistemas de IA de “alto riesgo” funcionen según lo previsto y de forma segura y que, en definitiva, no acaben convirtiéndose en fuente de discriminación.

A pesar de la multitud de desafíos observables ante el riesgo de discriminación por sesgos algorítmicos, es alentador observar que se han llevado a cabo importantes avances en los últimos años como la introducción en la redacción final del Reglamento europeo en materia de IA del Considerando 44. En dicho Considerando, el legislador europeo esboza aquellos requisitos obligatorios que deben cumplir “los datos de entrenamiento, validación y prueba de los sistemas de IA de alto riesgo que identifican o infieren emociones de las personas físicas sobre la base de sus datos biométricos”. En concreto, el legislador manifiesta tener serias dudas sobre la base científica de los sistemas de IA que pretenden identificar o inferir emociones, y señala como justificación para su reticencia la naturaleza intrusiva de estos sistemas, los cuales pueden inducir inevitablemente a un trato perjudicial o desfavorable de determinadas personas físicas o grupos vulnerables. Por consiguiente,  concluye el legislador europeo que “(…) debe prohibirse la comercialización, la puesta en servicio o el uso de sistemas de IA destinados a ser utilizados para detectar el estado emocional de las personas en situaciones relacionadas con el trabajo y la educación”.

En cualquier caso, hay sobradas razones para el optimismo en la evolución actual de la regulación europea en materia de IA por lo que respecta a la protección frente a la discriminación y los sesgos algorítmicos de los usuarios vulnerables. Esto es así, dado que el marco de garantías para la “supervisión humana” de los sistemas de IA que ofrece el artículo 14 del Reglamento europeo en materia de IA, nos acucia para que los sistemas de IA de alto riesgo se diseñen y desarrollen de forma que  puedan ser supervisados eficazmente por personas físicas “durante el período en que estén en uso”, con el objeto así de prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que dichos sistemas pudieran acarrear para sus potenciales usuarios.

Pese a los encomiables atributos de fiabilidad y previsibilidad atribuibles a los sistemas de IA, no podemos dejar de lado su uso recurrente en la explotación de las vulnerabilidades humanas con fines malévolos. Es más, la construcción de patrones algorítmicos que permitan a las máquinas anticipar el comportamiento humano basándose para ello en una previsibilidad ex ante, socava el propio concepto de autonomía humana. Y por tanto, al posicionar el legislador europeo al ser humano -persona física- como única entidad dotada de capacidad para actuar de forma autónoma en la supervisión eficaz de los sistemas de IA de alto riesgo, nos comprometemos a llevar a cabo una encomiable labor ontológica en aras al reconocimiento de la inviolabilidad de la autonomía y la autodeterminación humanas como bien jurídico de especial protección ante los desafíos discriminatorios que nos ofrece la IA. Estamos, en definitiva, ante el advenimiento de un nuevo deber ético que pugna por el reconocimiento de la intersubjetividad moral propia a la condición humana en el control de los sistemas de IA ante cualquier riesgo de discriminación algorítmica.

Notas

¹ El TEDH define el término “discriminación” en el caso Willisvs. United Kingdom, de 11 de septiembre de 2002, como «(…) tratar de forma diferente, sin justificación objetiva y razonable, a personas que se encuentran en situaciones sustancialmente similares». No obstante, en el caso Thlimmenos vs. Greece, de 6 de abril de 2000, el Tribunal amplió el alcance de esta cláusula para abarcar la llamada “discriminación por indiferencia”.

Nota de la autora

La presente entrada representa la contribución que, por parte de la autora se ha remitido al “Observatorio de la transformación digital del sector público” de la cátedra PAGODA de la Universidad de Valencia para su ulterior difusión a través de su web. Mi agradecimiento a Lorenzo Cotino y Jorge Castellanos, coordinadores del referido Observatorio, por su amabilidad al invitarme a participar.

Profesora Titular de Universidad de Filosofía del Derecho en la Universidad Complutense de Madrid.