Utilització d'algorismes predictius per les Administracions Públiques

Alejandro Huergo Lora
Catedràtic de Dret Administratiu
Universidad de Oviedo

Quan parlem de “intel·ligència artificial” parlem, sobretot, d'algorismes predictius o prediccions algorítmiques, o, dit d'una altra manera, prediccions basades en dades. En poques paraules, procediments matemàtics molt complexos, basats en una mena d'algorismes, que intenten predir fets futurs a partir de l'anàlisi de dades del passat. Per exemple, analitzem les infraccions laborals detectades en els últims 5 anys per a aïllar símptomes que s'està cometent una infracció, és a dir, que ens permeten detectar, ara mateix, on es poden estar cometent. En certa manera, i per a acostar-nos a categories ben conegudes, l'algorisme funciona com un barem, amb la diferència que no és un barem establit per l'Administració, sinó un barem generat automàticament a partir de les dades passades.

Les prediccions algorítmiques, com qualsevol altra predicció, serveixen per a guanyar eficiència, per a emprar els recursos disponibles (sempre escassos) just on són més necessaris o poden ser més útils. En l'exemple anterior, els inspectors no actuaran a l'atzar, sinó que es dirigiran a les empreses en les quals, en principi, siga més probable trobar una infracció. No és un exemple inventat: el Ministeri de Treball té contractat, des de fa anys, un servei de “consultoria estratègica en la lluita contra el frau” que consisteix precisament en això, en una eina informàtica que assenyala els llocs en què hauria de concentrar-se la inspecció, perquè sembla més probable trobar sancions.

En el fons, és el mateix que es fa en el sector privat, que és on han sorgit i s'han desenvolupat aquestes tècniques. Per exemple, la publicitat tradicional es dirigia a tots els lectors o espectadors del mitjà en què s'inseria, mentre que els serveis publicitaris d'empreses com Google o Facebook coneixen les preferències dels usuaris d'internet i canalitzen la publicitat als qui poden estar interessats a comprar el producte, i fins i tot personalitzen el missatge publicitari per a adaptar-lo a les seues preferències i incrementar la seua capacitat de convicció. També es poden utilitzar algorismes predictius per a adaptar el preu del producte o servei a les característiques de l'usuari, de manera que es puga cobrar a cadascun, pel mateix producte, el preu més alt al qual estaria disposat a comprar. Tot això serveix, òbviament, per a guanyar eficiència i maximitzar els beneficis. 

En principi, quan l'Administració utilitza algorismes predictius ho fa per a ser més eficaç en el compliment de les seues finalitats, i això no hauria de causar cap preocupació, perquè està sotmesa al principi d'eficàcia en virtut de l'article 103.1 de la Constitució. No obstant això, existeixen una sèrie de dubtes, derivades, en bona part, de diferents febleses intrínseques a les prediccions algorítmiques, que en general són àmpliament conegudes, com el risc que les prediccions tinguen biaixos, és a dir, que no sols estiguen equivocades, sinó que l'equivocació perjudique precisament persones pertanyents a col·lectius tradicionalment discriminats (dones, minories racials, etc.).

En la mesura en què les dades són la “matèria primera” de les prediccions algorítmiques, és necessari complir la legislació de protecció de dades. Aquesta, no obstant això, no constitueix un fre significatiu, perquè les dades passades que s'utilitzen per a “entrenar” als algorismes i elaborar les prediccions del futur, són dades anònimes i, per tant, exclosos, bàsicament, de la normativa de protecció de dades. Si, per exemple, volem identificar patrons que ens permeten predir quins alumnes es troben en risc de fracàs escolar (per a poder dirigir-los una atenció especial), elaborem un model a força d'analitzar milers de casos anteriors de fracàs escolar, per a identificar els factors que apareixen més sovint en ells i poder buscar-los en els alumnes d'ara i així trobar els que necessiten més ajuda. Però no necessitem saber el nom i cognoms d'aqueixos alumnes antics, només les seues característiques, per la qual cosa es tracta de dades anònimes . Quant a les persones a les quals s'aplica l'algorisme, és a dir, els alumnes actuals d'entre els que intentem identificar als més necessitats d'ajuda, s'utilitzen les seues dades, evidentment, però són dades que subministren a l'Administració o als quals aquesta té accés, i que pot utilitzar legítimament per a la millor realització de la funció educativa. En general, una adequada regulació de la cessió de dades entre Administracions Públiques soluciona els principals problemes. En els últims anys s'han plantejat importants debats sobre la cessió de dades tributàries o sobre la cessió per a l'ús de les dades en procediments sancionadors, però ací es plantegen altres qüestions. No oblidem, en tot cas, que l'article 155 de la Llei 40/2015, de Règim Jurídic del Sector Públic, va ser modificat pel Reial decret llei 14/2019 en termes que ho amplien molt i que no sols permeten, sinó que obliguen a efectuar aqueixa cessió, sense necessitat que estiga prevista en una Llei, i sense necessitat tampoc de consentiment del titular de les dades, sempre que la finalitat amb què es pretenen tractar “no siga incompatible” amb la finalitat per a la qual van ser recollits inicialment. D'altra banda, en molts casos els propis titulars de les dades els divulguen voluntàriament, per exemple, en xarxes socials.

Al marge de la protecció de dades, quin seria el marc jurídic de la utilització de prediccions algorítmiques? En la pràctica encara no tenim normes que la regulen (encara que s'apunta la seua aprovació a mitjà termini, especialment a nivell europeu), però això no ha impedit a les Administracions dotar-se d'aqueixes prediccions i utilitzar-les, com hem vist amb algun exemple.

La primera regla seria no substituir la comprovació i acreditació de fets per una predicció. Les Administracions estan sotmeses a la legalitat, que programa la seua actuació, establint, amb major o menor precisió, quin és el supòsit de fet en el qual poden o deuen actuar i també el contingut de la decisió que poden adoptar. Per exemple, només es pot imposar una sanció quan s'haja constatat la comissió d'una infracció. Doncs bé, no podem considerar acreditat el supòsit de fet només perquè hi ha una predicció algorítmica que ens diga que és molt versemblant que es produïsca o s'haja produït. Dit d'una altra manera, les decisions administratives han de poder justificar-se en el compliment dels requisits establits en la normativa que les regule, no en els resultats d'un algorisme.

De totes maneres, hi ha decisions administratives que el seu suposat de fet és, precisament, un pronòstic o una predicció. Per exemple, les zones amb el risc d'inundació han de classificar-se com a sòl no urbanitzable. Un edifici que es troba en risc d'ensulsiada ha de ser declarat en ruïna i, en tot cas, s'acordarà el seu desallotjament i apuntalament immediats. Una fusió empresarial és autoritzada, o no, en funció d'una previsió sobre els seus efectes sobre la competència. Les prediccions es basen en judicis tècnics (de tipus arquitectònic, meteorològic, econòmic, etc.) i en aquests casos es poden utilitzar també prediccions algorítmiques. Òbviament, en cas d'impugnació o recurs estaran subjectes a la crítica i a la possibilitat que es prove la seua falta de fonament, i l'Administració haurà de proporcionar tota la informació sobre la forma en què s'ha arribat a la predicció, com sobre qualsevol altre element que haja contribuït de manera rellevant a la resolució final. En el nostre ordenament jurídic s'utilitzen prediccions algorítmiques com un element més per a la concessió de permisos penitenciaris (prediccions sobre el risc de reincidència dels reclusos) i els tribunals les han donades per bones perquè no constitueixen el criteri únic de la concessió o denegació del permís, sinó que es tracta d'un element de judici al costat d'uns altres.

En realitat, el més habitual és que les prediccions algorítmiques s'utilitzen per a decidir la iniciació de procediments administratius, és a dir, per a identificar suposats en els quals pot ser necessari que l'Administració intervinga, en unes ocasions per a limitar o castigar (assenyalant objectius per a la inspecció) i en altres per a assistir o protegir (del que ja he posat alguns exemples). Un dels escassos debats jurídics que s'han plantejat en relació amb l'ús de prediccions algorítmiques gira precisament entorn d'aquesta qüestió. L'Administració ve actuant com si aqueixa fase prèvia a la iniciació del procediment mancara de rellevància jurídica. De fet, la iniciació del procediment es considera un típic exemple d'acte de tràmit no recurrible (llevat que incorpore l'adopció de mesures cautelars), pel fet que s'entén que per si sola no produeix efectes jurídics rellevants per al ciutadà. La selecció dels objectius que s'inspeccionen no ha sigut objecte de control jurídic; de fet, fins i tot allí on s'aproven plans d'inspecció, el seu eventual incompliment (és a dir, el fet que s'investigue a algú que no figure entre els grups inclosos en el pla d'inspecció) no és motiu per a anul·lar la sanció que eventualment se li impose, com ha dit recentment el Tribunal Suprem. En aqueix context, no és d'estranyar que l'Administració contracte serveis de “consultoria estratègica” que li subministren prediccions algorítmiques que l'ajuden a seleccionar objectius, i que això es faça “sota el radar”, és a dir, sense que deixe petjades en el procediment administratiu que eventualment s'inicie.

En aquest punt entra en joc l'article 22 del Reglament General de Protecció de Dades, que es refereix a les decisions totalment automatitzades que produeixen “efectes jurídics” en l'interessat o l'afecten “significativament de manera similar”, i les prohibeix llevat que es complisquen una sèrie de garanties que fins ara no es respecten, perquè entre altres coses habilitació normativa comunicar als seus destinataris el fet que es tracta d'una decisió totalment automatitzada i les garanties enfront d'ella. És una norma important, de contingut més concret i menys “principal” que moltes altres del RGPD, i que ha sigut tinguda en compte per un tribunal de la Haia en l'assumpte SYRI (sentència de 5 de febrer de 2020) per a declarar incompatible amb el Conveni Europeu de Drets Humans un sistema de prediccions algorítmiques per a la detecció de possibles casos de frau similar als que estem analitzant.

Tindre en compte només les decisions “totalment automatitzades” és una limitació important, perquè deixa fora molts casos (segurament la majoria), en els quals la predicció algorítmica és només un element de judici que es proporciona a l'Administració. Però la clau segurament és la interpretació del requisit que la decisió “produïsca efectes jurídics” en l'interessat “o l'afecte significativament de manera similar”. Segurament la nostra jurisprudència tendirà a sostindre que la iniciació del procediment no produeix efectes jurídics (en el sentit que preveu aquesta norma), però el tribunal neerlandés del cas SYRI ha dit que sí. La proposta normativa aprovada a l'octubre de 2020 pel Parlament Europeu s'aplica, en termes similars, [només] a “decisions del poder públic que tenen un impacte significatiu i directe en els drets i obligacions de persones físiques o jurídiques”, de manera que ens enfrontem al mateix debat. Una altra sentència del TS, d'1 d'octubre de 2020 (recurs de cassació 2966/2019), ha establit un llistó relativament alt, no per a la iniciació de procediments d'inspecció, però sí que s'autoritze en tals procediments l'entrada en un domicili, assenyalant que “[n]o poden servir de base, per a autoritzar l'entrada, les dades o informacions generals o indefinits procedents d'estadístiques, càlculs o, en general, de la comparació de la situació suposada del titular del domicili amb la d'altres indeterminats contribuents o grups d'aquests, o amb la mitjana de sectors d'activitat en tot el territori nacional, sense especificació o cap segmentació detallada que avale la serietat de tals fonts”. Aquest fragment de la doctrina establida en la sentència (no poc ambigu, d'altra banda) segurament planteja l'interrogant d'en quina mesura una predicció algorítmica pot superar aqueix test i ser suficient per a obtindre l'autorització judicial.

Un aspecte molt important de les prediccions algorítmiques és que en molts casos és difícil comprovar el seu encert i poden convertir-se en profecies autocumplides. Si l'Agència Tributària utilitza un algorisme per a assenyalar objectius a la inspecció en una província, mentre que en una altra no ho fa, podem comprovar els resultats i veure si l'algorisme fa que es descobrisquen més suposats de frau (incrementant l'eficiència de la inspecció) o en realitat el seu grau d'encert és similar al dels inspectors actuant en funció del seu “ull crític”. Però, si s'aplica a tota l'activitat inspectora, és impossible comprovar l'encert. I, en aquest cas, el pitjor és que es descobriran més fraus on més s'inspecciona, consolidant la imatge que aqueixos sectors són més propensos al frau, per la qual cosa cada vegada seran més inspeccionats, en una espècie de cercle viciós. Per això és necessari que les prediccions estiguen “obertes” i que tinguen límits temporals per a evitar aquest efecte de “profecia autocumplides”.

Les prediccions algorítmiques han florit en el sector privat, sotmés a principis jurídics totalment diferents dels que s'apliquen a l'Administració, entre els quals destaca el principi de legalitat.  Encara que és raonable que l'Administració puga aprofitar també els seus avantatges, és necessària una adaptació jurídica de la qual estem encara en els primers passos. Aquestes i altres qüestions s'aborden amb més profunditat en els diferents treballs del llibre La regulación de los algoritmos, al qual remet als lectors.