Algoritmos y discriminación. La importancia de calificar correctamente los supuestos de discriminación algorítmica directa

Alba Soriano Arnanz
Investigadora en Formación del Departamento de Derecho Administrativo de la Universitat de València

El creciente uso de sistemas automatizados de toma de decisiones ha puesto de relieve la forma en que estos sistemas, cada vez más desarrollados, pueden reproducir y perpetuar estereotipos y conductas discriminatorias que resultan especialmente perjudiciales para las personas pertenecientes a determinados grupos vulnerables o desaventajados. 

Existen muchos e importantes problemas que surgen en torno al encuadre de los supuestos de discriminación algorítmica en el marco jurídico de protección de igualdad y no discriminación que van desde la propia detección de los supuestos de discriminación algorítmica a la aportación de elementos de comparación, muchas veces necesarios para la prueba de la discriminación. Así, con respecto a la aportación de un elemento de comparación, dado que muchos sistemas automatizados tienen la capacidad de aprender y desarrollarse de manera autónoma, puede suceder que sea casi imposible encontrar supuestos en los que se hallan tomado decisiones sobre exactamente los mismos parámetros que en el caso enjuiciado.

De entre los diferentes problemas y complicaciones que surgen en relación con la discriminación algorítmica, el análisis realizado a lo largo de los siguientes párrafos se centra en la importancia de calificar correctamente los supuestos de discriminación algorítmica directa y el riesgo de que, en no pocas ocasiones, dichos supuestos sean erróneamente clasificados como situaciones de discriminación indirecta o que simplemente pasen desapercibidos.

1. Las categorías sospechosas de discriminación

Cuando hablamos de vulnerabilidad o desventaja lo hacemos en el contexto de los procesos de discriminación histórica que han situado y que, como norma general, todavía sitúan a determinados colectivos o grupos en una posición de desventaja en el acceso a toda clase de recursos y ámbitos de poder. Así, nos referimos fundamentalmente a mujeres, minorías raciales, étnicas y religiosas, personas pertenecientes a estratos socioeconómicos bajos, etc.

Lo anterior no implica que las personas no pertenecientes a dichos grupos no puedan ser víctimas de actuaciones discriminatorias, sino que la sociedad no se estructura a través de una serie de instituciones que, de manera sistemática, y más o menos evidente, discriminan contra ellas. En cualquier caso, cabe tener en cuenta que las cláusulas de igualdad y no discriminación de las constituciones y textos supranacionales e internacionales de protección de los derechos fundamentales, atribuyen un mayor desvalor a las actitudes discriminatorias basadas en una serie de categorías sospechosas que engloban tanto a los grupos desaventajados como a los grupos históricamente aventajados. Así, las categorías sospechosas incluyen de manera general el sexo, la raza, la religión, el origen social y otra serie de características de las personas que son, en principio, inmutables o pertenecen al espacio inherente a la dignidad de la persona.

Es cierto que existe abundante normativa de desarrollo e instituciones dedicadas específicamente a la protección de las personas pertenecientes a esos grupos vulnerables o desaventajados. Sin embargo, el núcleo de situaciones de discriminación a las que se atribuye un mayor desvalor viene constituido por estas categorías más generales (sospechosas) que engloban tanto a las personas pertenecientes a grupos desaventajados como a aquellas pertenecientes a grupos que, históricamente, han ocupado las instituciones de poder de las sociedades.

2. El ámbito del derecho europeo en materia de igualdad y no discriminación

Si bien las referencias normativas a lo largo de esta entrada son escasas, cabe destacar que el análisis aquí realizado se centra, sobre todo, en el tratamiento jurídico de la igualdad y no discriminación realizado por el ordenamiento jurídico de la Unión Europea y el Tribunal de justicia de la UE (TJUE).

El análisis de la discriminación algorítmica desde la perspectiva del derecho de la Unión Europea se justifica, por una parte, por la convergencia en los elementos básicos del derecho antidiscriminatorio en los diferentes Estados miembros de la UE, la cual se debe, fundamentalmente, al desarrollo normativo en materia de igualdad y no discriminación llevado a cabo por las Directivas europeas de igualdad y la interpretación de la protección a los derechos a la igualdad y no discriminación realizada por el TJUE. Por otra parte, dado que los algoritmos constituyen objetos cuya utilización no se encuentra ceñida ni restringida por las divisiones territoriales, resulta conveniente analizar su encuadre jurídico desde una perspectiva supranacional.

Asimismo, el hecho de que la protección frente a los riesgos generados por los sistemas automatizados de procesamiento de datos se haya articulado principalmente, hasta la fecha, a través de los instrumentos normativos en materia de protección de datos y, en concreto, el Reglamento General de Protección de Datos de la UE, propicia enmarcar el análisis relativo a cualquier aspecto problemático derivado del creciente uso de sistemas algorítmicos en el ámbito del derecho de la Unión Europea

3. Discriminación directa e indirecta

Los supuestos de discriminación directa tienen lugar cuando una persona es tratada de forma menos favorable con base en una de las categorías sospechosas. Por su parte, aquellas disposiciones, criterios o prácticas aparentemente neutros que, sin embargo, resulten en efectos más desfavorables para las personas pertenecientes a uno de los grupos englobados en las categorías sospechosas. Generalmente, estos efectos desfavorables que resultan de acciones aparentemente neutras suelen afectar en mayor medida a los grupos vulnerables o desaventajados.  

El enjuiciamiento de los supuestos de discriminación sobre la base dicotómica de la discriminación directa-indirecta encuentra su origen en los Estados Unidos y, más concretamente, en la sentencia de 1971 del Tribunal Supremo en el caso Griggs v. Duke Power Co (401 U.S. 424). Dicha sentencia estableció, por primera vez, la posibilidad de reconocer la existencia de un supuesto de discriminación cuando se diese un “impacto desigual”, esto es, cuando una medida aparentemente neutra, perjudicase de manera desproporcionada a las personas pertenecientes a un subgrupo dentro de las categorías sospechosas de discriminación. En dicho caso, el Tribunal Supremo de los EE.UU. estableció que, exigir a los candidatos a un puesto o a un ascenso que estuvieran en posesión de un diploma de enseñanza secundaria y se sometieran a pruebas de inteligencia, era una medida que discriminaba contra las personas afroamericanas, dado que, por lo general, tenían más dificultades para cumplir dichos requisitos. Únicamente si el título y la prueba educativa eran necesarios para desarrollar el trabajo se podía considerar justificada una medida de estas características.

Esta doctrina fue acogida por el Tribunal de Justicia de las Comunidades Europeas (actual, TJUE) en la sentencia Defrenne II de 8 de abril de 1976 (asunto 43/75) que, de manera tangencial, se refirió a las situaciones de discriminación indirecta en el contexto de las diferencias en las condiciones laborales de mujeres y hombres. En el ámbito español, el concepto de discriminación indirecta fue introducido por la más que conocida STC 145/1991 que no solamente introdujo dicha doctrina en el ámbito de la protección jurídica de la discriminación en España, sino que también sentó un importante precedente en relación con la influencia de los roles de género sobre la brecha salarial entre mujeres y hombres.

4. Justificación de la discriminación

Aquellos casos en los que se constata que existe una situación en que una persona ha sido tratada de manera menos favorable por su pertenencia a un grupo comprendido dentro de las categorías sospechosas de discriminación, es decir, los supuestos de discriminación directa, ofrecen poco margen a la justificación. Así, por ejemplo, en el ámbito del empleo, como norma general, únicamente se puede justificar la discriminación directa cuando la característica especialmente protegida constituya un requisito profesional esencial y determinante, siempre y cuando el objetivo sea legítimo y el requisito proporcionado. Esta clase de justificación puede operar, por ejemplo, en empleos de sectores artísticos en los que se requiere que la persona contratada cumpla con un perfil muy específico precisamente basado en esas categorías protegidas. En general, la justificación de la discriminación directa se admite en supuestos muy concretos y excepcionales.

La discriminación indirecta ofrece más posibilidades de justificación. La prueba de la discriminación indirecta requiere que se aporten suficientes elementos para determinar una presunción de efectos discriminatorios. Una vez los efectos discriminatorios se consideran suficientemente acreditados, la carga de la prueba recae sobre la parte demandada, que debe probar que la disposición, práctica o criterio se encuentra justificada. Para ello debe acreditarse que persigue una finalidad legítima y superar el triple análisis de proporcionalidad (adecuación, necesidad y proporcionalidad en sentido estricto), lo que permite un mayor margen de justificación.

5. Discriminación algorítmica directa

El mayor margen de justificación que ofrecen los supuestos de discriminación indirecta y la especial gravedad que revisten los casos de discriminación directa hace necesario que, cuando se dé un supuesto de discriminación directa, este no se confunda con un caso de discriminación indirecta. Esta es una cuestión que debe tenerse en cuenta sobre todo en el ámbito de la discriminación algorítmica, ya que la falta de transparencia o comprensibilidad de los sistemas automatizados puede llegar a dificultar enormemente la posibilidad de probar los casos constitutivos de discriminación directa.

Centrándonos ya en la protección específica de las personas pertenecientes a grupos vulnerables o desaventajados, la discriminación algorítmica directa puede tener lugar cuando se introduzcan en el algoritmo los datos relativos a la pertenencia a un grupo desaventajado y a dicha pertenencia se asocie un valor negativo. Ese valor negativo puede conducir directamente a una consecuencia final negativa (por ejemplo, ser de procedencia hispana implica de manera automática la no concesión de un crédito) o puede contribuir a reducir la puntuación o empeorar el resultado final, pero no ser determinante para su obtención.

Los casos de discriminación algorítmica directa en los que la pertenencia al grupo explícitamente incluida determine de manera automática un resultado negativo serán relativamente fáciles de probar incluso sin acceder al contenido del algoritmo. Cabe destacar, en este sentido, que el TJUE considera que, en aquellos casos en los que el criterio formal en virtud del cual se toma una decisión sea inseparable de la pertenencia al grupo desaventajado, la acción será constitutiva de discriminación directa. Así, aunque no se disponga de la información relativa a la inclusión de la categoría sospechosa como dato que determine la decisión algorítmica, en caso de afectar esta de manera negativa a todos los miembros del grupo desaventajado, deberá considerarse como un supuesto de discriminación directa.

Sin embargo, en aquellos casos en los que se produce un caso de discriminación algorítmica directa que no afecta de manera evidente a todas las personas pertenecientes al grupo protegido, será mucho más complejo probar dicha situación. En estos casos, salvo que se pueda acceder al contenido del algoritmo, no será fácil probar la existencia de una situación de discriminación. Es por ello que en estos supuestos será más sencillo recurrir a la figura de la discriminación indirecta. Así, considerando el algoritmo en su totalidad como criterio, práctica o disposición aparentemente neutros, deberá procederse a acreditar una presunción de discriminación que la parte demandada deberá, más tarde, desvirtuar.

Reconducir los supuestos de discriminación algorítmica directa como supuestos de discriminación indirecta es poco recomendable no solo por el más amplio margen de justificación que estos últimos ofrecen a la parte demandada sino también porque la propia prueba inicial de la discriminación puede resultar infructuosa. La discriminación indirecta en ocasiones requiere o permite la aportación de datos estadísticos. Esta clase de prueba será cada vez más común a medida que proliferen el uso de algoritmos y previsiblemente, como resultado, la cantidad de supuestos de discriminación algorítmica. Sin embargo, los tribunales en el ámbito europeo exigen que una proporción muy elevada de personas del grupo desaventajado resulten negativamente afectadas por la medida, criterio o práctica aparentemente neutros para considerar acreditada la presunción de discriminación indirecta.

Es por ello probable que, si la categoría sospechosa se introduce (de manera consciente o inconsciente) en el sistema con el objetivo de perjudicar a los miembros de determinado grupo, pero la pertenencia al grupo se combina con muchas otras variables que mitigan el efecto total del impacto negativo del algoritmo en la totalidad del grupo, se dificulte considerablemente la prueba de la discriminación. Continuaríamos estando ante un supuesto de discriminación directa (atribuir menos valor con base en una categoría sospechosa), sin embargo, al no poder probarlo como tal se reconduciría a través de la figura de la discriminación indirecta, que, en muchas ocasiones, tampoco permitiría acreditar la existencia de un supuesto de discriminación y que, incluso si esta fuese acreditada, otorgaría a la parte demandada amplias posibilidades de justificación.

Es por ello que, con el objetivo de poder calificar correctamente los supuestos de discriminación algorítmica directa, para aquellos casos en los que no se dé acceso pleno al algoritmo, deberá establecerse la posibilidad de experimentar con el sistema, introduciendo diferentes perfiles para comprobar si este efectivamente discrimina o no con base en alguna de las categorías sospechosas. Ahora bien, en cualquier caso, siempre que sea posible deberá darse acceso pleno al contenido del algoritmo o, en su defecto, establecer mecanismos procesales a través de los cuales se pueda incorporar a personas expertas independientes que sí dispongan de acceso pleno al contenido del algoritmo y que puedan determinar la concurrencia de supuestos de discriminación algorítmica directa aun cuando estos no sean evidentes.

Alba Soriano es beneficiaria de un contrato de carácter predoctoral subvencionado por la Generalitat Valenciana y el Fondo Social Europeo. Programa VALi+d.  Asimismo, este trabajo es en parte conclusión de la parte dedicada a la investigación de la SHINE Jean Monnet Network (Sharing Economy and Inequalities across Europe) donde varias Universidades europeas, coordinadas por la Universitat de València, están estudiando estas cuestiones con el apoyo de la Comisión Europea (611585-EPP-1-2019-1-ES-EPPJMO-NETWORK)