University of Valencia logo Logo Open Government, Participation and Open Data Chair (PAGODA) Logo del portal

Reptes legals de l'ús d'algorismes en la selecció de subjectes a investigar per la Inspecció de TreballAdrián Todolí

  • November 11th, 2020
 

Reptes legals de l'ús d'algorismes en la selecció de subjectes a investigar per la Inspecció de Treball

Adrián Todolí Signes
Professor Contractat Doctor Dret del Treball i de la Seguretat Social
Universitat de València 
www.adriantodoli.com


Planejar adequadament una estratègia d'inspeccions és clau per a detectar el frau a posteriori, així com per a proactivament previndre que existisquen incompliments de la norma. Un reeixit programa d'inspeccions no té com a conseqüència solament els efectes directes en cada acció individual (en termes d'aconseguir el compliment de l'inspeccionat, per exemple, la recaptació obtinguda d'eixa inspecció). Per contra, existeixen altres efectes indirectes, en molts sentits més rellevants, per al manteniment general del nivell de compliment de les normes.
En efecte, l'existència d'un sistema eficient de control que localitze i castigue els qui infringeixen la norma convencerà a la resta d'obligats que complir-la redunda en el seu benefici. Al seu torn, incrementarà la percepció de poder ser inspeccionat, una cosa que, d'acord amb el model estàndard de compliment de les normes, conduirà a un increment del compliment voluntari. Finalment, un sistema d'Inspecció que audite i castigue els qui contravenen la norma, posarà fi a la competència deslleial entre les empreses, eliminant una possible necessitat d'incomplir per a poder competir en el mercat en igualtat de condicions.
Entre les formules tradicionals per a seleccionar els subjectes objecte d'una inspecció s'ha introduït recentment l'ús del big data i els algorismes. Aquesta tecnologia promet millorar els “encerts” a l'hora de seleccionar quines empreses s'investigaran per possibles il·lícits o fraus. L'ús d'algorismes, la classificació dels subjectes mitjançant perfils de risc d'incompliment i el tractament de dades de manera automatitzada a fi de selecció de les empreses a inspeccionar pot plantejar múltiples problemes jurídics. D'un costat, les normes de protecció de dades i, d'un altre, les normes antidiscriminació i de protecció de la intimitat poden suposar límits jurídics a l'ús d'aquestes tècniques.

Aplicació del “big data” per a seleccionar persones jurídiques o empreses
La necessària segmentació respecte a la selecció de persones jurídiques enfront de la selecció de persones físiques parteix de la pròpia divisió realitzada per la normativa. En efecte, el RGPD se circumscriu a la protecció de dades personals, incloent solament les dades de les persones físiques i excloent del seu àmbit d'aplicació les dades de les persones jurídiques (art. 1 i 2 RGPD).
D'aquesta manera, el tractament automatitzat de dades de les empreses i el seu processament a través de tècniques de “big data” no ve protegit per aquesta normativa. Seran els principis generals, l'obligació de l'Administració de regir-se sota el principi de legalitat, d'igualtat de tracte i la prohibició d'arbitrarietat els que determinaran les possibilitats d'ús d'aquestes. Això porta al fet que en l'ús del big data per a la selecció d'empreses a investigar, mancant normativa específica en matèria de protecció de dades, s'aplique els controls clàssics i habituals en l'Administració.

Protecció de dades i autònoms
Una primera qüestió que sorgeix és si la normativa en matèria de protecció de dades personals s'aplica als autònoms i professionals en l'exercici de la seua professió. Referent a això sorgeixen dubtes atés que, a pesar que són persones físiques, interactuen com a empresaris en el mercat. Aquesta qüestió ha sigut tractada per la doctrina judicial arribant a la conclusió que s'entén que solament estan exclosos de l'àmbit d'aplicació de la normativa de protecció de dades aquells professionals que exerceixen la seua activitat sota la forma de persona jurídica
No obstant això, això pot plantejar problemes jurídics respecte a la protecció de les dades usades per l'Administració i també en l'aplicació del principi d'igualtat i no discriminació en la selecció d'objectius de la Inspecció. Habitualment, les normes per a evitar vulneració de Drets Fonamentals dels ciutadans exigeixen transparència de l'Administració, l'anomenada “transparència algorítmica”. No obstant això, com es discuteix en aquest treball aquesta transparència podria frustrar els objectius perseguits en l'ús de l'eina. En aquest treball s'analitza, d'un costat, l'ús del “big data” en la planificació estratègica de campanyes d'inspecció i, d'un altre, els reptes legals que això representa, amb especial reconeixement dels principis aplicables i la incipient doctrina judicial en països del nostre entorn.

Decisions automatitzades i protecció de dades:
Aclarit que la normativa en matèria de protecció de dades serà aplicable tant a professionals autònoms com a persones físiques –perceptors de prestacions socials- es va ara a analitzar el règim jurídic aplicable.
El RGPD en el seu art. 6.1 e) estableix que el tractament de dades de les persones físiques és lícit si “és necessari per al compliment d'una missió realitzada en interés públic o en l'exercici de poders públics conferits al responsable del tractament”. Així doncs, amb l'empara de la Llei 23/2015, de 21 de juliol, Ordenadora del Sistema d'Inspecció de Treball i Seguretat Social –concretament el seu article 18.2 i 18.4- la recollida i tractament d'aquestes dades serà lícita.
Addicionalment, encara que la recollida de dades i el seu tractament siga lícit conforme s'acaba de veure, l'art. 22 del RGPD fixa una regla específica per a la presa de decisions basades únicament en aquest tractament automatitzat o en l'elaboració de perfils. Concretament, aquest article prohibeix que una decisió final, que tinga efectes jurídics sobre el subjecte, estiga basada únicament en eixe tractament automatitzat o perfil elaborat per l'algorisme sense intervenció humana. Això pot afectar de ple a les possibilitats de seleccionar automatitzadament (o mitjançant perfils de persones físiques o autònoms) els subjectes a inspeccionar.
No obstant això, aquesta prohibició s'aplica solament si no existeix intervenció humana significativa en la selecció final del subjecte objecte de la inspecció. En efecte, l'article 22 RGPD que ací s'analitza únicament prohibeix la “decisió basada únicament en el tractament automatitzat”. Per aquesta raó, si existeix intervenció humana significativa en la presa de decisió, no serà aplicable aquesta impossibilitat.
En aquest sentit, en els casos en els quals la decisió final queda en mans de l'inspector, la decisió del qual serà presa conforme la seua experiència usant únicament l'índex de risc d'incompliment com un factor a tindre en compte, no sembla que ens trobem en el supòsit prohibit de l'art. 22 RGPD. De la mateixa forma, si els plans estratègics i les campanyes són decidides pels responsables de la Inspecció, tampoc sembla que s'estiguera davant el present suposat.
En qualsevol cas, una vegada més, l'art. 22 RGPD estableix excepcions a la seua aplicació. El Reglament permet que s'elaboren decisions totalment automatitzades, sempre que això vinga autoritzat pel Dret nacional (art. 22.1 b RGPD). Així, l'art. 16.3 Llei 23/2015, contempla la possibilitat que la Inspecció reba dades cedides per l'Agència Tributària i la Seguretat Social, incloent les dades personals objecte de tractament automatitzat. Aquesta sembla una habilitació suficient tenint en compte que la cessió de dades sempre és un exercici més intens que el mer tractament, així doncs, es podria sostindre que, qui pot el més, pot el menys (si es permet legalment la cessió de les dades, es permet el seu tractament automatitzat). No obstant això, en cas que es desitge poder seleccionar als subjectes objecte de la inspecció sense cap intervenció humana, seria recomanable una actualització de la normativa nacional que expressament aclarira la possibilitat del tractament automatitzat i l'elaboració de perfils amb aquest objectiu i establira garanties suficients de transparència i antidiscriminació.

Garanties enfront de la presa de decisions automatitzada
La Comissió Europea, en el seu Llibre blanc sobre Intel·ligència Artificial alerta d'una sèrie de perills existent en l'ús de la IA, entre els quals es troba l'opacitat d'alguns d'aquests sistemes de big data, decisions algorítmiques discriminatòries contra col·lectius protegits o decisions errònies per un mal disseny dels algorismes. A fi d'evitar aquests perjudicis, la Comissió Europea sosté la necessitat d'establir garanties a favor dels afectats per un sistema d'Intel·ligència Artificial.
La regulació proposada part que no tots els sistemes tenen la mateixa incidència sobre eixos drets fonamentals, per això, es planteja un sistema de garanties diferent depenent del risc que tinga la IA d'afectar eixos drets fonamentals. D'aquesta manera, podria haver-hi fins a cinc nivells basats en el risc que una Intel·ligència Artificial afecte o vulnere drets fonamentals. Això és, depenent dels seus potencials efectes requeriria des de l'absència de garanties en el cas dels sistemes de IA més innocus, fins a la prohibició absoluta en el cas dels sistemes d'Intel·ligència Artificial més perillosos.
En aquest sentit, el RGPD assenyala que, fins i tot quan una llei nacional autoritze l'ús de mecanismes informàtics per a prendre decisions automatitzades, serà necessari que aquesta mateixa normativa fixe controls i salvaguardes dels drets i llibertats dels subjectes afectats. No obstant això, conforme al criteri mantingut per la Comissió Europea en la seua qualificació dels tipus d'algorismes segons les seues conseqüències, sembla clar que eixes garanties hauran de ser proporcionals als efectes, més o menys intensos, que les decisions automatitzada tinga sobre el subjecte.


Discrecionalitat administrativa en l'elecció de subjectes a investigar i garanties enfront de l'arbitrarietat o discriminació
​L'elecció del subjecte a investigar, així com l'orientació mitjançant plans d'inspecció d'aquesta, es qualifiquen jurídicament d'actes discrecionals. D'aquesta manera, l'inspector podrà triar sobre la base de la seua experiència –com es fa tradicionalment- o altres dades, o informacions, els subjectes objecte del seu treball. De la mateixa forma, la confecció de plans estratègics i operatius des dels comandaments jeràrquics de la inspecció solament vénen a elevar eixa potestat discrecional a instàncies superiors. En aquest sentit, s'admet pacíficament la inclusió en els mateixos de criteris d'oportunitat i l'establiment de prioritats i estratègies per a aplicar amb la màxima eficiència recursos limitats d'aquesta.
Fins ací no sembla que existisca cap límit legal per a l'ús del “big data” com a suport per a la presa d'aquestes decisions. No obstant això, no està de més recordar que la discrecionalitat no pot significar arbitrarietat i que la mateixa té límits a fi d'evitar abusos i discriminacions. Així, de la mateixa forma que en l'elecció dels subjectes a inspeccionar no seria lícit realitzar-la amb base exclusivament a la nacionalitat de l'empresa o de la persona física, tampoc el “big data” podria portar-nos a aquesta conclusió –ni tan sols de manera indirecta- sense que existisquen raons objectives diferents al criteri discriminatori que el justifique.
Així doncs, s'ha de partir que, a priori, no existeix diferent règim jurídic aplicable quan la decisió és presa fonamentant-se en l'experiència de l'inspector, en les dades existents, en criteris d'oportunitat o en el big data. Això és, l'important no resideix en la forma o procediment triat per a prendre la decisió, sinó a comprovar que el resultat de la mateixa –la decisió- no siga arbitrària o discriminatòria.
El problema radica en les possibilitats de defensa del subjecte investigat. En efecte, en un cas o un altre, el subjecte seleccionat desconeixerà les raons per les quals ha eixit triat, la qual cosa farà materialment impossible demostrar en judici un tracte esbiaixat o discriminatori de la Inspecció. Per aquesta raó, l'art. 20.2 de la Llei 23/2015 estableix que és necessari garantir l'efectivitat dels principis d'igualtat de tracte i no discriminació en l'exercici de l'activitat inspectora. Això és, és l'Administració l'obligada a assegurar-se que les decisions no es prenen en contra del principi d'igualtat. Al seu torn, aquest article garanteix la publicació de les instruccions d'organització de serveis, dels criteris operatius generals i dels criteris tècnics vinculants.
D'aquesta manera, d'un costat, l'Administració té l'obligació d'assegurar que el “big data” no estiga donant com a resultat una elecció discriminatòria o sense fonament suficient, d'altra banda, serà necessari garantir un cert grau de transparència en els criteris utilitzats per el “big data” per a prendre les seues decisions i establir els percentatges de risc d'incompliment de cada empresa o dels diferents sectors.
Això és, no sembla que siga suficient indicar que s'ha triat una empresa –o un sector si parlem d'un pla estratègic- perquè l'eina informàtica indica que té major risc d'incomplir. Per contra, l'Administració tindrà l'obligació d'assegurar que el resultat final de l'índex de risc d'incompliments no està basat en criteris prohibits (nacionalitat de l'empresa o persona física, sindicació o no, etc…). L'analogia amb les eines de selecció tradicionals fins al moment és senzilla i és que, conforme al principi d'igualtat, l'Administració també ha d'assegurar-se que un inspector no actue motivat per raons arbitràries i discriminatòries.
D'aquesta manera, igual que, d'acord amb la normativa actual, els criteris operatius generals han de ser publicats per a garantir la no arbitrarietat, sembla necessari publicar (o, almenys, estar disponibles conforme a les lleis de transparència) quin tipus de dades, en general, es van subministrar a l'eina informàtica per a prendre la decisió. En la majoria de casos, això serà suficient per a assegurar que el resultat final dau per el “big data” no estarà basat en criteris discriminatoris. 
Per contra, no sembla que haja d'incloure's en aqueixa publicitat/transparència ni el codi de l'algorisme utilitzat per a prendre les decisions, ni tampoc hauria de ser obligatori que es publicite el resultat final dau per l'eina. Això és, ni les empreses ni les persones físiques tindran dret a conéixer les probabilitats d'incomplir que li assigna l'eina.
La justificació és triple, d'un costat, informar les empreses que tenen una baixa probabilitat de ser investigades podria incrementar el propi incompliment. D'un altre costat, publicar el codi o les ponderacions realitzades per l'eina per a prendre la decisió permetria –a les empreses que pogueren pagar un servei informàtic de suficient nivell- revelar la mateixa informació respecte a les possibilitats concretes de ser inspeccionada. Finalment, eixa informació en mans de les empreses els permetria modificar el seu comportament per a alterar els resultats de l'algorisme. Això és, si l'empresa sap quina variable, en quina proporció i de quina forma, incideixen en la probabilitat de ser investigades, aquesta podria alterar el seu comportament, no per a complir, sinó per a modificar eixes variables (el que s'ha anomenat “Gaming the algorithm”).

Conclusió

Malgrat la necessitat d'assegurar la transparència i la falta d'arbitrarietat o discriminació no sembla possible exigir que es revele tota la informació respecte a l'eina informàtica ni com aquesta presa les seues decisions a fi d'evitar que les empreses o subjectes infractors puguen usar eixa informació per a continuar incomplint la norma. D'altra banda, sí que sembla exigible que l'Administració revele quin tipus de dades són usats per l'algorisme per a prendre la seua decisió a fi d'assegurar que no s'està usant informació protegida (art. 9 RGPD) o discriminatòria (art. 14 CE). Finalment, atesa la possibilitat que el “big data” puga inferir informacions discriminatòries basades en dades no discriminatòries (ex. deduir la raça o nacionalitat basant-se en el barri on es viu), a fi d'evitar que això ocórrega, sembla necessari que l'algorisme, no publicat, supere algun tipus d'auditoria Administrativa interna –o d'un tercer- que verifique que l'algorisme pel seu propi compte no està “descobrint” dades prohibides o sensibles i usant-los en els seus resultats.

 


Adrián Todolí
Adrián Todolí

Professor Contractat Doctor
Dret del Treball i de la Seguretat Social
Universitat de València

www.adriantodoli.com