Una coneguda eina de contractació preferia els candidats masculins als femenins pels algorismes (foto: Becca Tapert).

Una recerca liderada per la Universitat Oberta de Catalunya (UOC) i amb participació d’investigadores i investigadors de la Universitat de València (UV), la Universitat Politècnica de València (UPV) i la Universitat Politècnica de Catalunya (UPC), entre d’altres centres, planteja mesures per a eliminar els biaixos de gènere en els algorismes d’Internet. Entre d’altres, que les persones involucrades a crear un algorisme coneguen les mesures que es poden prendre per minimitzar els possibles biaixos i les apliquen. La recerca ha sigut publicada en la revista Algorithms.

Sobre si els algorismes d’Internet presenten un biaix de gènere s’han escrit rius de tinta. Un nou estudi intenta arribar a una conclusió sobre la pregunta, donat que consideren que fins ara, el debat ha estat allunyat d’una anàlisi científica.

“En aquest article s’aborda el biaix de gènere des de la perspectiva matemàtica i també des d’una sociològica. La meua perspectiva és que hi ha d’haver una interdisciplinarietat en aquesta matèria. El gènere és un concepte social i, per tant, els algorismes s’han de tractar no només des de la perspectiva de les Matemàtiques, sinó també des de la Sociologia”, destaca Assumpta Jover, firmant de l’article, doctora en Estudis de Gènere per la Universitat de València i Màster de Gènere i Polítiques d’Igualtat amb menció en l’especialitat en Investigació i Anàlisi de Polítiques d’Igualtat de l’Institut Universitari d’Estudis de la Dona.

Les múltiples fonts de biaix de gènere, així com les particularitats de cada classe d’algorisme i conjunt de dades fan que eliminar aquesta desviació siga un desafiament particularment difícil, però no impossible. “Cal que els dissenyadors i totes les persones involucrades en el seu desenvolupament estiguen informades sobre la possibilitat de tenir biaixos associats a la lògica d’un algorisme. A més, han de conèixer les mesures que hi ha per minimitzar al màxim els possibles biaixos i aplicar-les perquè no es produïsquen, perquè, si són conscients de les discriminacions que s’esdevenen en la societat, sabran identificar quan els seus desenvolupaments les reprodueixen”, proposa la investigadora principal, Juliana Castañeda Jiménez, estudiant de doctorat industrial de la Universitat Oberta de Catalunya (UOC), sota la direcció d’Ángel A. Juan, de la Universitat Politècnica de València, i Javier Panadero, de la Universitat Politècnica de Catalunya.

La novetat d’aquest treball rau en el fet que ha estat promogut per especialistes en diferents àrees, en què hi ha, entre d’altres, una sociòloga, un antropòleg i expertes en gènere o estadística. “Els membres de l’equip van completar una perspectiva que va més enllà de la matemàtica autònoma associada a l’algorisme i, així, vam poder considerar l’algorisme com un sistema sociotècnic complex”, descriu la investigadora principal de l’estudi.

Els algorismes s’empren cada vegada més per decidir si es concedeix o denega un préstec o per acceptar sol·licituds. A mesura que augmenta el nombre d’aplicacions d’intel·ligència artificial (IA), així com les seues capacitats i la seua rellevància, és més important avaluar els possibles prejudicis adherits a aquestes operacions. “Si bé aquest no és un concepte nou, hi ha molts casos en els quals aquest problema no s’estudia, de manera que se n’ignoren les possibles conseqüències”, afirmen responsables de la recerca, enfocada principalment al biaix de gènere en diferents camps de la IA.

Aquests prejudicis poden tenir grans impactes en la societat: “Els biaixos afecten totes les persones que estiguen discriminades o excloses o associades a un estereotip. Per exemple, podrien excloure un gènere o una raça d’un procés de decisió o, simplement, assumir un comportament determinat pel gènere o el color de la pell”, explica Juliana Castañeda.

Segons Castañeda, “és possible que els processos algorítmics discriminen per gènere, fins i tot quan estan programats per ser ‘cecs’ a aquesta variable”. L’equip investigador –en el qual, a més, participen Milagros Sáinz i Sergi Yanes, del grup de Gènere i TIC (GenTIC) de l’Internet Interdisciplinary Institute (IN3), Laura Calvet, de l’Escola Universitària Salesiana de Sarrià, així com Ángel A. Juan– ho exposa amb diversos exemples: el cas d’una coneguda eina de contractació que preferia els candidats masculins als femenins, o el de serveis de crèdit amb condicions menys avantatjoses per a les dones que per als homes. “Si s’utilitzen dades històriques i no estan equilibrades, probablement s’observarà un condicionament negatiu relacionat amb demografia negra, gai i fins i tot femenina, depenent de quan i d’on són aquestes dades”, indica Castañeda.

Ells, ciències i elles, arts

Per saber el grau d’afectació per aquests patrons que experimenten els diferents algorismes als quals ens enfrontem, els investigadors van analitzar treballs anteriors que identificaven biaixos de gènere en processaments de dades en quatre tipus d’IA: la que descriu aplicacions en processament i generació de llenguatge natural, l’encarregada de la gestió de decisions, i la de reconeixement facial i de veu.

En general, van trobar que tots els algorismes identifiquen i classifiquen millor els homes blancs. A més, van observar que reproduïen creences falses sobre com haurien de ser els atributs físics que defineixen les persones segons el seu sexe biològic, origen ètnic o cultural, o orientació sexual, i que, així mateix, associaven de manera estereotipada la masculinitat i la feminitat amb les ciències i les arts, respectivament.

Molts dels procediments emprats en aplicacions de reconeixement d’imatge o veu també es basen en aquests estereotips: igual que les càmeres reconeixen més bé les cares blanques, l’anàlisi d’àudio té problemes amb les veus més agudes, cosa que afecta principalment les dones.

Els casos més susceptibles de presentar aquests defectes són els algorismes que es construeixen a partir de l’anàlisi de dades reals que porten associat un context social. “Algunes de les causes principals són la infrarepresentació de les dones en el disseny i el desenvolupament de productes i serveis d’IA i l’ús de conjunts de dades amb biaixos de gènere”, assenyala la investigadora, que creu que el problema està relacionat amb els entorns culturals en els quals són desenvolupats.

Article: CASTANEDA, J.; JOVER, A.; CALVET, L.; YANES, S.; JUAN, A. A.; SAINZ, M. «Dealing with Gender Bias Issues in Data-Algorithmic Processes: A Social-Statistical Perspective». Algorithms (2022). https://doi.org/10.3390/a15090303