Algorismes i discriminació. La importància de qualificar correctament els supòsits de discriminació algorítmica directa

Alba Soriano Arnanz
Investigadora en Formació del Departament de Dret Administratiu de la Universitat de València

El creixent ús de sistemes automatitzats de presa de decisions ha posat en relleu la forma en què aquests sistemes, cada vegada més desenvolupats, poden reproduir i perpetuar estereotips i conductes discriminatòries que resulten especialment perjudicials per a les persones pertanyents a determinats grups vulnerables o en inferioritat de condicions. 

Existeixen molts i importants problemes que sorgeixen entorn de l'enquadrament dels supòsits de discriminació algorítmica en el marc jurídic de protecció d'igualtat i no discriminació que van des de la pròpia detecció dels supòsits de discriminació algorítmica a l'aportació d'elements de comparació, moltes vegades necessaris per a la prova de la discriminació. Així, respecte a l'aportació d'un element de comparació, atés que molts sistemes automatitzats tenen la capacitat d'aprendre i desenvolupar-se de manera autònoma, pot succeir que siga quasi impossible trobar suposats en els que es troben pres decisions sobre exactament els mateixos paràmetres que en el cas jutjat.

D'entre els diferents problemes i complicacions que sorgeixen en relació amb la discriminació algorítmica, l'anàlisi realitzada al llarg dels següents paràgrafs se centra en la importància de qualificar correctament els supòsits de discriminació algorítmica directa i el risc que, en no poques ocasions, aquests supòsits siguen erròniament classificats com a situacions de discriminació indirecta o que simplement passen desapercebuts.

1. Les categories sospitoses de discriminació

Quan parlem de vulnerabilitat o desavantatge ho fem en el context dels processos de discriminació històrica que han situat i que, com a norma general, encara situen a determinats col·lectius o grups en una posició de desavantatge en l'accés a tota classe de recursos i àmbits de poder. Així, ens referim fonamentalment a dones, minories racials, ètniques i religioses, persones pertanyents a estrats socioeconòmics baixos, etc.

L'anterior no implica que les persones no pertanyents a aquests grups no puguen ser víctimes d'actuacions discriminatòries, sinó que la societat no s'estructura a través d'una sèrie d'institucions que, de manera sistemàtica, i més o menys evident, discriminen contra elles. En qualsevol cas, cal tindre en compte que les clàusules d'igualtat i no discriminació de les constitucions i textos supranacionals i internacionals de protecció dels drets fonamentals, atribueixen un major desvalor a les actituds discriminatòries basades en una sèrie de categories sospitoses que engloben tant als grups en inferioritat de condicions com als grups històricament avantatjats. Així, les categories sospitoses inclouen de manera general el sexe, la raça, la religió, l'origen social i una altra sèrie de característiques de les persones que són, en principi, immutables o pertanyen a l'espai inherent a la dignitat de la persona.

És cert que existeix abundant normativa de desenvolupament i institucions dedicades específicament a la protecció de les persones pertanyents a aqueixos grups vulnerables o en inferioritat de condicions. No obstant això, el nucli de situacions de discriminació a les quals s'atribueix un major desvalor ve constituït per aquestes categories més generals (sospitoses) que engloben tant a les persones pertanyents a grups en inferioritat de condicions com a aquelles pertanyents a grups que, històricament, han ocupat les institucions de poder de les societats.

2. L'àmbit del dret europeu en matèria d'igualtat i no discriminació

Si bé les referències normatives al llarg d'aquesta entrada són escasses, cal destacar que l'anàlisi ací realitzada se centra, sobretot, en el tractament jurídic de la igualtat i no discriminació realitzat per l'ordenament jurídic de la Unió Europea i el Tribunal de justícia de la UE (TJUE).

L'anàlisi de la discriminació algorítmica des de la perspectiva del dret de la Unió Europea es justifica, d'una banda, per la convergència en els elements bàsics del dret antidiscriminatori en els diferents Estats membres de la UE, la qual es deu, fonamentalment, al desenvolupament normatiu en matèria d'igualtat i no discriminació dut a terme per les Directives europees d'igualtat i la interpretació de la protecció als drets a la igualtat i no discriminació realitzada pel TJUE. D'altra banda, atés que els algorismes constitueixen objectes la utilització dels quals no es troba cenyida ni restringida per les divisions territorials, resulta convenient analitzar el seu enquadrament jurídic des d'una perspectiva supranacional.

Així mateix, el fet que la protecció enfront dels riscos generats pels sistemes automatitzats de processament de dades s'haja articulat principalment, fins hui, a través dels instruments normatius en matèria de protecció de dades i, en concret, el Reglament General de Protecció de Dades de la UE, propícia emmarcar l'anàlisi relativa a qualsevol aspecte problemàtic derivat del creixent ús de sistemes algorítmics en l'àmbit del dret de la Unió Europea

3. Discriminació directa i indirecta

Els supòsits de discriminació directa tenen lloc quan una persona és tractada de forma menys favorable amb base en una de les categories sospitoses. Per part seua, aquelles disposicions, criteris o pràctiques aparentment neutres que, no obstant això, resulten en efectes més desfavorables per a les persones pertanyents a un dels grups englobats en les categories sospitoses. Generalment, aquests efectes desfavorables que resulten d'accions aparentment neutres solen afectar en major mesura als grups vulnerables o en inferioritat de condicions.  

L'enjudiciament dels supòsits de discriminació sobre la base dicotòmica de la discriminació directa-indirecta troba el seu origen als Estats Units i, més concretament, en la sentència de 1971 del Tribunal Suprem en el cas Griggs v. Duke Power Co (401 O.S. 424). Aquesta sentència va establir, per primera vegada, la possibilitat de reconéixer l'existència d'un supòsit de discriminació quan es donara un “impacte desigual”, això és, quan una mesura aparentment neutra, perjudicara de manera desproporcionada a les persones pertanyents a un subgrup dins de les categories sospitoses de discriminació. En aquest cas, el Tribunal Suprem dels EUA va establir que, exigir als candidats a un lloc o a un ascens que estigueren en possessió d'un diploma d'ensenyament secundari i se sotmeteren a proves d'intel·ligència, era una mesura que discriminava contra les persones afroamericanes, atés que, en general, tenien més dificultats per a complir aquests requisits. Únicament si el títol i la prova educativa eren necessaris per a desenvolupar el treball es podia considerar justificada una mesura d'aquestes característiques.

Aquesta doctrina va ser acollida pel Tribunal de Justícia de les Comunitats Europees (actual, TJUE) en la sentència *Defrenne II de 8 d'abril de 1976 (assumpte 43/75) que, de manera tangencial, es va referir a les situacions de discriminació indirecta en el context de les diferències en les condicions laborals de dones i homes. En l'àmbit espanyol, el concepte de discriminació indirecta va ser introduït per la més que coneguda STC 145/1991 que no solament va introduir aquesta doctrina en l'àmbit de la protecció jurídica de la discriminació a Espanya, sinó que també va establir un important precedent en relació amb la influència dels rols de gènere sobre la bretxa salarial entre dones i homes.

4. Justificació de la discriminació

Aquells casos en els quals es constata que existeix una situació en què una persona ha sigut tractada de manera menys favorable per la seua pertinença a un grup comprés dins de les categories sospitoses de discriminació, és a dir, els supòsits de discriminació directa, ofereixen poc marge a la justificació. Així, per exemple, en l'àmbit de l'ocupació, com a norma general, únicament es pot justificar la discriminació directa quan la característica especialment protegida constituïsca un requisit professional essencial i determinant, sempre que l'objectiu siga legítim i el requisit proporcionat. Aquesta classe de justificació pot operar, per exemple, en ocupacions de sectors artístics en els quals es requereix que la persona contractada complisca amb un perfil molt específic precisament basat en aqueixes categories protegides. En general, la justificació de la discriminació directa s'admet en supòsits molt concrets i excepcionals.

La discriminació indirecta ofereix més possibilitats de justificació. La prova de la discriminació indirecta requereix que s'aporten suficients elements per a determinar una presumpció d'efectes discriminatoris. Una vegada els efectes discriminatoris es consideren prou acreditats, la càrrega de la prova recau sobre la part demandada, que ha de provar que la disposició, pràctica o criteri es troba justificada. Per a això ha d'acreditar-se que persegueix una finalitat legítima i superar la triple anàlisi de proporcionalitat (adequació, necessitat i proporcionalitat en sentit estricte), la qual cosa permet un major marge de justificació.

5. Discriminació algorítmica directa

El major marge de justificació que ofereixen els supòsits de discriminació indirecta i l'especial gravetat que revisten els casos de discriminació directa fa necessari que, quan es done un supòsit de discriminació directa, aquest no es confonga amb un cas de discriminació indirecta. Aquesta és una qüestió que ha de tindre's en compte sobretot en l'àmbit de la discriminació algorítmica, ja que la falta de transparència o comprensibilitat dels sistemes automatitzats pot arribar a dificultar enormement la possibilitat de provar els casos constitutius de discriminació directa.

Centrant-nos ja en la protecció específica de les persones pertanyents a grups vulnerables o en inferioritat de condicions, la discriminació algorítmica directa pot tindre lloc quan s'introduïsquen en l'algorisme les dades relatives a la pertinença a un grup en inferioritat de condicions i a aquesta pertinença s'associe un valor negatiu. Aqueix valor negatiu pot conduir directament a una conseqüència final negativa (per exemple, ser de procedència hispana implica de manera automàtica la no concessió d'un crèdit) o pot contribuir a reduir la puntuació o empitjorar el resultat final, però no ser determinant per a la seua obtenció.

Els casos de discriminació algorítmica directa en els quals la pertinença al grup explícitament inclosa determine de manera automàtica un resultat negatiu seran relativament fàcils de provar fins i tot sense accedir al contingut de l'algorisme. Cal destacar, en aquest sentit, que el TJUE considera que, en aquells casos en els quals el criteri formal en virtut del qual es pren una decisió siga inseparable de la pertinença al grup en inferioritat de condicions, l'acció serà constitutiva de discriminació directa. Així, encara que no es dispose de la informació relativa a la inclusió de la categoria sospitosa com a dada que determine la decisió algorítmica, en cas d'afectar aquesta de manera negativa a tots els membres del grup en inferioritat de condicions, haurà de considerar-se com un supòsit de discriminació directa.

No obstant això, en aquells casos en els quals es produeix un cas de discriminació algorítmica directa que no afecta de manera evident a totes les persones pertanyents al grup protegit, serà molt més complex provar aquesta situació. En aquests casos, llevat que es puga accedir al contingut de l'algorisme, no serà fàcil provar l'existència d'una situació de discriminació. És per això que en aquests supòsits serà més senzill recórrer a la figura de la discriminació indirecta. Així, considerant l'algorisme íntegrament com a criteri, pràctica o disposició aparentment neutres, haurà de procedir-se a acreditar una presumpció de discriminació que la part demandada deurà, més tard, desvirtuar.

Reconduir els supòsits de discriminació algorítmica directa com a supòsits de discriminació indirecta és poc recomanable no sols pel més ampli marge de justificació que aquests últims ofereixen a la part demandada sinó també perquè la pròpia prova inicial de la discriminació pot resultar infructuosa. La discriminació indirecta a vegades requereix o permet l'aportació de dades estadístiques. Aquesta classe de prova serà cada vegada més comuna a mesura que proliferen l'ús d'algorismes i previsiblement, com a resultat, la quantitat de supòsits de discriminació algorítmica. No obstant això, els tribunals en l'àmbit europeu exigeixen que una proporció molt elevada de persones del grup en inferioritat de condicions resulten negativament afectades per la mesura, criteri o pràctica aparentment neutres per a considerar acreditada la presumpció de discriminació indirecta.

És per això probable que, si la categoria sospitosa s'introdueix (de manera conscient o inconscient) en el sistema amb l'objectiu de perjudicar els membres de determinat grup, però la pertinença al grup es combina amb moltes altres variables que mitiguen l'efecte total de l'impacte negatiu de l'algorisme en la totalitat del grup, es dificulte considerablement la prova de la discriminació. Continuaríem estant davant un supòsit de discriminació directa (atribuir menys valor amb base en una categoria sospitosa), no obstant això, al no poder provar-ho com a tal es reconduiria a través de la figura de la discriminació indirecta, que, en moltes ocasions, tampoc permetria acreditar l'existència d'un supòsit de discriminació i que, fins i tot si aquesta fora acreditada, atorgaria a la part demandada àmplies possibilitats de justificació.

És per això que, amb l'objectiu de poder qualificar correctament els supòsits de discriminació algorítmica directa, per a aquells casos en els quals no es done accés ple a l'algorisme, haurà d'establir-se la possibilitat d'experimentar amb el sistema, introduint diferents perfils per a comprovar si aquest efectivament discrimina o no amb base en alguna de les categories sospitoses. Ara bé, en qualsevol cas, sempre que siga possible haurà de donar-se accés ple al contingut de l'algorisme o, en defecte d'això, establir mecanismes processals a través dels quals es puga incorporar a persones expertes independents que sí que disposen d'accés ple al contingut de l'algorisme i que puguen determinar la concurrència de supòsits de discriminació algorítmica directa encara que aquests no siguen evidents.

Alba Soriano és beneficiària d'un contracte de caràcter predoctoral subvencionat per la Generalitat Valenciana i el Fons Social Europeu. Programa VALi+d.  Així mateix, aquest treball és en part conclusió de la part dedicada a la investigació de la SHINE Jean Monnet Network (Sharing Economy and Inequalities across Europe) on diverses Universitats europees, coordinades per la Universitat de València, estan estudiant aquestes qüestions amb el suport de la Comissió Europea (611585-EPP-1-2019-1-ÉS-EPPJMO-NETWORK).