Sobre la naturalesa jurídica dels algorismes emprats per l'Administració per a la presa de decisions

Andrés Boix Palop
Prof. Titular de Dret Administratiu
(Universitat de València – Estudi General)

I. Introducció

La relació del Dret públic i en concret del Dret administratiu amb les anomenades “noves tecnologies” de la informació i de la comunicació no és ja tan nova sinó que porta molts anys desenvolupant-se, per la qual cosa és possible en aquests moments comptar ja amb sòlids indicis de quins són els problemes i riscos no sols presents sinó també futurs, així com els reptes que planteja el necessari ajust d'aquell a aquestes. Aquest ajust, en tant que jurídic, no opera en el buit sinó que ho fa amb base en un mandat constitucional que, amb independència dels desenvolupaments als quals ha donat lloc amb posterioritat, alguns de gran virtuosisme -fins i tot hem extret un nou dret fonamental d'aqueix precepte, com és de tots conegut, en forma de “dret a l'autodeterminació informativa” de l'art. 18.4 CE-, obliga a respectar una regla bastant senzilla que, la compartim o no, és hui dia el Dret vigent: li directriu constitucional que trobem en aqueix precepte constitucional imposa limitar els desenvolupaments d'aquestes tecnologies sempre que es necessari per a garantir el ple exercici de drets per part dels ciutadans. D'altra banda, a ningú hauria d'escapar-se-li que amb aquesta formulació de manera implícita, i al meu judici molt encertadament, el text constituent concep l'evolució tecnològica com potencialment molt perillosa per als drets de els ciutadans i posa l'accent sobre la necessitat de garanties jurídiques (una cosa essencial en aquestes matèries que, desgraciadament, no sempre té en compte el nostre legislador a l'hora de reformar el procediment administratiu). D'alguna manera, com ja s'ha recordat (Cotino, 2019), això imposa una sort de translació del principi de precaució en clau tecnològica.

La raó per la qual assenyale aquests dos factors a l'efecte d'emmarcar aquest comentari, per molt obvis que puguen semblar i per això d'innecessària expressió, és perquè, sorprenentment, ni el legislador ni l'Administració pública espanyola semblen particularment concernits per ells. El tractament que la llei 30/1992, de 26 de novembre, del Règim Jurídic de les Administracions Públiques i del Procediment Administratiu Comú (LRJAP) dona des dels seus orígens a aquesta qüestió és cridanerament pobra, per no dir pràcticament inexistent. Alguna cosa que, paradoxalment, com desenvoluparé més endavant, tenia efectes positius al meu judici, en la mesura en què, encara que siga cert que se li pot retraure al seu text original mancar de la “perspectiva dinàmica” (Julián Valero, 2015), també ho és que les “pretensions d'amplitud en la regulació” d'un precepte com el primigeni art. 45 LRJAP combinades amb regles procedimentals expressades amb independència del canal de comunicació emprat permetien acceptar certes solucions amb un grau de flexibilitat que potser la pràctica legislativa posterior, més cenyida a la regulació en concret del fenomen, ha afeblit. Addicionalment, i de manera merament principal, l'esmentat precepte sí que estableix certes cauteles i recorda la necessitat de preservar el contingut material de les garanties siga com siga el desenvolupament tecnològic.

Una idea desapareguda de l'actual Llei 39/2015, de Procediment Administratiu Comú (LPAC) i a la qual hem de tornar. La Llei 11/2007, de 22 de juny, d'Accés Electrònic dels Ciutadans als Serveis Públics (LAE), per part seua, sí que va suposar un intent seriós de, almenys, fer front al mandat constitucional de tractar de canalitzar i limitar l'ús de la informàtica de manera que no supose minvaments en la capacitat efectiva dels ciutadans de fer valdre els seus drets. No obstant això, ni el seu desenvolupament va ser massa satisfactori ni la manera en què s'ha procedit a integrar el seu contingut en la regulació comuna del procediment administratiu en l'actualment vigent LPAC són massa exigents. Les crítiques per les insuficiències d'aquesta integració han sigut generalitzades entre els qui han analitzat la qüestió (vegeu Bany León, 2015; Santamaría Pastor, 2015; o, per exemple, aquesta entrada dedicada a la qüestió en el meu blog).

A partir d'aquestes idees bàsiques de trasllat de les garanties tradicionals en sentit material al nou context tecnològic i de la seua importància cabdal a l'hora de desplegar l'ús de mitjans tecnològics per part de les Administracions Públiques tractarem de justificar la necessitat de traduir algunes de les regles tradicionals, de la forma més prudent possible, a l'ocupació per part de les Administracions Públiques d'algorismes, utilització que hui dia compta amb un marc jurídic més aviat parc i perillosament generós.

II. El codi font és codi jurídic i consegüentment cal tractar-lo

En una de les primeres obres que van tractar de manera moderna i global l'enorme significació jurídica dels canvis que les noves tecnologies ens anaven a oferir, la primera edició de Code (Lessig, 1999), s'avança des de les seues primeres pàgines una reflexió que el temps no ha fet sinó confirmar: estem ja de ple en una societat en la qual, cada vegada més, el vertader abast dels drets dels ciutadans dependrà en major mesura dels codis de programació a partir dels quals s'articula el funcionament de tota mena d'aplicacions informàtiques que dels mateixos codis jurídics tradicionals que tant venerem els juristes. L'afirmació pot semblar exagerada –o potser exagerada… de moment- però apunta en una direcció interessant: la programació de les tasques, per definició automatitzades, de major o menor complexitat, són un element consubstancial a l'aprofitament de les tecnologies actualment disponibles que, a més, està cridat a anar a més en el futur. De fet, no sols a anar a més sinó a ser, i convé tindre-ho bé present, la part quantitativament més rellevant de l'acció administrativa del futur. Un futur que, ha de tindre's bé present, està ja ací en matèria d'automatització i programació d'activitats suposadament complexes i no sols en activitats privades sinó en moltes on hi ha bé una supervisió pública intensa o un directe protagonisme “prestacional” per part de la pròpia Administració –conducció de cotxes automatitzada, drons que operen a partir de programació, trens sense conductor, armes modernes que decideixen quan activar-se a partir d'una programació prèviament determinada…-

Aquesta dinàmica serà tant més important quanta més intel·ligència artificial hi haja implicada –i cada vegada hi haurà més-. Així, probablement, l'estudi de les categories clàssiques és particularment útil per a mostrar-nos la seua inutilitat fins que no assumim que hem de, senzillament, assumir que la intel·ligència artificial és intel·ligència a quasi tots els efectes jurídics i tractar-la, en aquest cas sí, d'una manera concorde a com tractem a la intel·ligència, diguem, “tradicional”. Les reflexions en matèria d'intel·ligència artificial i la seua evolució futura són nombrosíssimes en l'actualitat. Valga l'actualitzada síntesi, amb molta informació i plantejant els reptes de futur, sobre els reptes reguladors de futur que apareixen en les conclusions de Asilomar (Tegmark, 2017) o les cauteles que recentment han desenvolupat en forma de principis de regulació les institucions europees.

Per la raó exposada és pel que és particularment rellevant, al seu torn, assumir d'una vegada amb totes les conseqüències que, com enunciàvem inicialment, el codi font és codi jurídic. Ho és, de fet, amb caràcter general. Ho és perquè aqueix codi delimita l'efectiu marc d'actuació dels particulars, marca els límits als seus drets i genera una producció amb efectes jurídics que fàcilment podem dir “activitat administrativa” de manera automatitzada a partir d'aqueixos paràmetres prèviament configurats, no tinc cap mena de dubte que estem davant una cosa molt semblant a normes reglamentàries. I ho és també perquè és el reglament que preordena els marges de l'actuació de la intel·ligència artificial que, més o menys modesta segons els casos, executa les seues instruccions, d'una manera conceptualment parangonable, de manera estricta a més, a l'actuació que el nostre Dret pressuposa a una intel·ligència humana convencional quan ha d'executar una actuació *adminitrativa normativament emmarcada. Perquè, com s'ha dit, el codi font és, en efecte, codi jurídic i consegüentment actua. A l'efecte de la forma en què algorismes, programació i codi predeterminen decisions pot constar-se que tota programació no és sinó una reglamentació (Harari, 2015; Tegmark, 2017) simplement molt més predeterminada i fiable.

Des d'aquest punt de vista podríem considerar que, sens dubte, tot algorisme usat per l'Administració per a adoptar decisions no és sinó un reglament. O que tot algorisme de suport opera com la part reglada d'un procés de presa de decisions. Que la seua «naturalesa jurídica», si així es vol explicar, és la d'un reglament tradicional sense necessitat d'afegir molt més… i provocant la conseqüència jurídica que calguera traslladar *in *toto la regulació tradicional que hem anat decantant durant tots aquests anys respecte de les normes reglamentàries i el seu funcionament i enquadrament en Dret.

Això no obstant, aquesta discussió sobre la naturalesa jurídica pot obviar-se sense problemes en la pràctica. Al cap i a l'últim, no és sinó una qüestió conceptual i, si es vol, dogmàtica, amb poques repercussions pràctiques… sempre que es quede només en això. Molt més significativa, en canvi, i qüestió de la qual en cap cas es pot prescindir, és la seua derivada pràctica i, en concret, la ineludible necessitat de traslladar, com hauria exigit l'art. 45 LRJAP, totes aquelles garanties respecte d'aquesta mena de “codi” per a protegir la posició i drets dels ciutadans de manera que queden en idèntica posició que quan són afectats per actuacions administratives ordinàries.

III. La traducció d'algunes garanties tradicionals a la regulació de l'activitat automatitzada i realitzada per mitjà d'algorismes/programes… i els seus problemes

Si analitzem amb un mínim d'exigència quins haurien de ser aqueixes garanties, resulta que són estrictament equivalents a les que, més o menys, hem anat decantant àrduament durant dècades com absolutament necessàries en un Estat de Dret per a qualsevol norma reglamentària. La qual cosa no és cridaner, doncs, com s'ha dit, plantegen materialment els mateixos problemes. Anant una mica més enllà en aquest punt, un règim mínim de garanties:

• Haguera d'obligar com a mínim al fet que tot procés d'elaboració d'aquests codis es desenvolupara d'una manera estrictament pautada, amb informació pública, participació ciutadana, i amb respecte a una sèrie de regles i procediments d'elaboració per als mateixos que asseguren el seu efectiu contrast i anàlisi profunda durant aqueix procés d'elaboració (i, per exemple, aplicar-los tot el nou Títol VI de la LPAC). Només d'aquesta manera pot aconseguir-se que la producció de les normes que de facto governaran cada vegada més les relacions interadministratives i a emmarcar els drets dels ciutadans siguen no sols de la suficient qualitat tècnica –però també jurídica encara que estiguem parlant aparentment de la mera programació informàtica- sinó que a més puga desenvolupar-se des del seu origen un control adequat sobre el funcionament de les aplicacions i dels diversos sistemes automatitzats. El règim actualment vigent en la llei 40/2019, de Règim Jurídic de les Administracions Públiques, (LRJ) és francament insuficient referent a això, perquè es limita a exigir, únicament, la identitat del responsable de la programació en la regulació, insòlitament escarida, de l'enquadrament jurídic de l'activitat jurídica automatitzada (art. 41.2 LRJ). No es desconeixen els problemes i dificultats que d'aquesta posició més exigent es derivarien quant a les exigències per a posar en marxa actuacions automatitzades, però les garanties dels ciutadans justifiquen àmpliament que s'actue d'aquesta manera, com demostra la lògica de la pròpia legislació vigent sobre la producció de normes reglamentàries que vagen a desplegar efectes sobre els ciutadans.
• En lògica correspondència amb aquesta necessitat de control, i una vegada aprovada, la programació corresponent, i tot el seu codi font, hagueren de ser sempre públics –de la mateixa manera que ho són, i de nou apareix una evident identitat de raó, les normes reglamentàries-. Tots els ciutadans hagueren de poder conéixer i revisar fins a l'últim detall aquesta programació, almenys en tots aquells casos i en la mesura en què tinga a veure amb l'exercici dels seus drets, de manera que es puga entendre per qualsevol amb els coneixements i el temps necessaris l'exacte funcionament del codi i que es puguen desentranyar tant els efectes del mateix com, en el seu cas, les seues possibles falles i defectes. Com ha assenyalat la doctrina, tampoc hui dia tenim garanties suficients en aquest sentit, perquè a penes si comptem amb l'externa i no pensada per a resoldre aquesta qüestió protecció que aporta la LOPD en establir que tot ciutadà ha de ser informat de què serà objecte d'un tractament i decisió automatitzada (Cotino, 2019). Tampoc molt més exigent, encara que mancant altres normes que enquadren la qüestió a ella s'ha remés fins hui quasi tot el món, és en la pràctica el Reglament europeu General de Protecció de Dades (RGDP). De fet, una recent i important sentència neerlandesa de la Cort del Districte de la Haia de 5 de febrer de 2020 sobre ús d'algorismes per a realitzar certes apreciacions de risc que després l'Administració empraria en inspeccions i controls, per a prohibir l'ús de l'algorisme en qüestió, ha de recórrer a les normes europees del CEDH en matèria de privacitat davant l'absència de regles veritablement exigents en el RGPD. Fins i tot en el cas que d'ací es derive alguna possibilitat de opting out, que d'altra banda no sembla que siga el cas combinat amb l'art. 41.2 LRJ vigent, és una garanties francament insuficient. Cap consideració de protecció de propietat intel·lectual o industrial, d'altra banda, haguera de poder oposar-se a aquesta pretensió. D'una altra manera estaríem acceptant una certa “privatització” inadmissible d'algunes normes i dels seus mecanismes de funcionament, alguna cosa que no perquè té certs precedents en els nostres Drets – és el cas d'algunes normes privades que tenen efectes públics i que no són enterament públiques, la qual cosa amb raó ha sigut denunciat com a contrari al nostre model d'Estat de Dret- deixa de ser inquietant i que a més en aquest cas compta amb l'agreujant que la complexitat d'aquesta mena de programació la fa especialment opaca a l'escrutini individual per cada ciutadà –raó per la qual és si cap més important que aquest puga ser realitzat de manera general i constant per tota la col·lectivitat, però en realitat, aquestes barreres d'entrada, encara que de divers tipus, tampoc són, de nou, molt diferents a les que el comú dels ciutadans poden experimentar respecte de la major part de les normes reglamentàries: la diferència és que ací els “llecs” som els tradicionals xamans que les controlàvem en el passat: els juristes-. Com és evident, d'aquesta posició es derivarà un encariment de l'activitat administrativa, puix que el desenvolupament o, en el seu cas, l'adquisició de programes que incloga la propietat del codi i amb ella la seua possible difusió i publicació és més cara que la compra de meres llicències d'ús. Però, de nou, la mínima precaució deguda i els drets dels ciutadans justifiquen àmpliament la cautela.
• A més, aquesta programació, reforçant la idea que estem davant una realitat amb una clara identitat de raó amb qualsevol norma reglamentària, haguera de poder ser qüestionada i analitzada en cada supòsit aplicatiu concret, i després de la constatació en el seu cas de l'existència de defectes en la mateixa o de confirmar-se que el seu funcionament limita o retalla drets dels ciutadans, haguera de poder ser impugnada per això, amb independència de quan haguera sigut aprovada. De nou veiem que, més enllà de la qüestió purament terminològica i conceptual, les garanties materials per les quals vela l'establiment de la possibilitat d'un procediment de recurs tant directe com indirecte contra reglaments tenen tota la lògica que siguen ací replicades perquè els problemes pràctics i riscos concrets que pot suposar una programació informàtica fallida, un codi font erroni, són els mateixos que els que suposa un reglament il·legal.
• En aquest sentit, ha de criticar-se la posició defensada per Esteve Pardo (2007), que qualifica d'il·lusòria la pretensió de controlar per mitjà del Dret “cadascun dels detalls i aspectes concrets del funcionament de les aplicacions informàtiques i els sistemes d'informació” (també Valero, 2015, sembla escèptic en algun moment sobre la possibilitats efectiva d'aconseguir fer funcionar aquests controls). Almenys, i en la mesura en què ens referim a les aplicacions i sistemes que està emprant l'Administració pública, i més encara quan es tracta de les que aquesta empra en les seues relacions amb els ciutadans, aquesta aspiració no sols no és il·lusòria sinó que haguera de ser absolutament essencial. I amb tot detall i rigor, és a dir, arribant a “tots els detalls i aspectes concrets”, siga el codi propietari o no, raó per la qual, per cert –i com desenvoluparé més tard, aquesta qüestió haguera de ser reavaluada per a garantir la independència de la Administració i la seua capacitat efectiva de fer la seua labor-. En la mesura en què, com s'ha reiterat, estem parlant d'un codi que és fet i fet codi jurídic, tota aquesta labor ha de ser completament controlada i definida per l'Administració pública, que és a més la responsable amb caràcter general d'aquesta. I això amb independència que puga ser externalitzada o que normalment siga realitzada, en el millor dels casos, pels serveis d'informàtica de les respectives administracions públiques. Aquesta tasca, per molt que puga requerir d'una capacitat i especialització addicional, és indubtablement jurídica i ha de ser tractada com a tal.

IV. Efectes addicionals de l'activitat algorítmica que reforcen la necessitat de garanties

A curt termini, és palés la necessitat de major control sobre l'ús merament accessori i de suport (transparència, quina, quan, com, per què, en quins casos, amb quina incidència), per exemple en tasques d'inspecció, però no ha de perdre's de vista que, a més, el seu caràcter d'actuació de suport és creixentment una ficció. A més, aquesta pretensió és coherent amb la recent exigència incrementada en l'enquadrament jurídic de la legalitat d'aquestes actuacions.

En general hi ha una gran potència, i beneficis, en l'ús d'algorismes a l'hora de permetre una major capacitat de dissecció i de control sobre les decisions i situacions en entorns predictibles (i l'actuació administrativa i les decisions judicials, per exemple, ho són). No té sentit no aprofitar-la (referent a això la decisió polèmica adoptada a França i la decisió 2019-778 DC du 21 mars 2019 del Conseil Constitutionnel francés que ha declarat inconstitucional la restricció sobre la publicitat i possibilitat de reutilització d'identitat de jutges en les seues decisions i vots particulars (art. 33 codi de justícia). Simplement, ha de posar-se aquesta capacitat de dissecció i control a jugar en favor de la previsibilitat i el control ciutadà.

Previsibilitat i transparència absolutes que, a més, seran si cap més necessàries per a fer front a alguns canvis estructurals que les decisions automatitzades o algorítmiques provocaran inevitablement sobre els entorns d'actuació informal, no reglada o fins i tot sobre les conseqüències de l'acció no-legal, alegal o il·legal. A manera de síntesi ràpida, pense's en aquests exemples:

• la determinació de què és o no part de l'expedient administratiu (art. 70.4 LPAC), de què ha de formar part de l'ell a l'efecte de transparència, accés… té gran importància a l'hora de determinar quins processos algorítmics formen o no part d'aquest;
• els algorismes i els programes van a generes decisions sempre iguals i uniformes, hi ha un valor en la no uniformitat i en la possibilitat de matisar, en la dispersió, en la informalitat decisòria (almenys, en alguns casos)? L'ús d'algorismes i programes, en la mesura en què la veda o obliga a programar per endavant les diferències, ens situa enfront d'una necessitat de total transparència decisòria que ha de ser totalment pública;
• en una línia semblant, la duresa o generositat en les conseqüències jurídiques no admetrà modulacions no previstes per endavant, la qual cosa de nou exigeix una reflexió completa, detallada i totalment transparent ex-ante (sobre això, també, Neva Fenoll, 2018);
• finalment, i en aquesta mateixa línia, la impossibilitat d'actuació en la il·legalitat o contra l'algorisme, té valor a vegades, tant particular com a vegades social l'actuació no adequada a la norma? té sentit poder consentir-la o acceptar-la? hi ha costos diferenciats en la il·legalitat que poden assenyalar utilitat diferenciada que potser és indici que puga generar utilitat social si es paguen els costos diferenciats en el fet que es pot incórrer?

Totes aquestes preguntes han de ser contestades, una vegada més, ex-ante, i per això requereixen de transparència i garanties pròpies de l'elaboració d'un reglament.

V. A manera de conclusió (provisional)

Per totes aquestes raons, l'actual règim legal que contempla que aquestes programacions han de ser aprovades formalment per l'entitat pública que vaja a utilitzar-la “per exemple, a través d'un acte administratiu, no sent imprescindible una norma reglamentària-, especialment en aquells supòsits en què el seu funcionament puga afectar els drets i llibertats dels ciutadans” (Valero, 2015) és francament insuficient. Insistint en la necessitat de reconstruir les categories i no pretendre que haja de ser necessàriament possible una coincidència exacta o una reconducció absoluta a conceptes sorgits per a designar, senzillament, altres realitats, podria dir-se que no sols és que sí que haurien de ser aprovats per mitjà de normes reglamentàries sinó que hagueren de ser-ho com a normes reglamentàries perquè en la pràctica i a efectes materials és el que són… o, almenys, hagueren de ser aprovades amb un sistema que garantisca tots els mecanismes de participació, publicitat, control i impugnabilitat processal propis de les normes reglamentàries, en la mesura en què el codi font planteja exactament les mateixes necessitats de control que el codi jurídic, perquè d'aquell dependran, exactament en la mateixa mesura que en el passat depenien d'aquest, els drets dels ciutadans en les seues relacions amb els poders públics i la seua efectivitat. Aquesta és una reflexió que, d'altra banda, no està tan allunyada, entenc, de l'esperit que batega en treballs com el de Valero (2015) que venim citant quan reclama amb tota la raó “un dret per part dels ciutadans a obtindre tota aquella informació que permeta la identificació dels mitjans i aplicacions utilitzades, de l'òrgan sota el control del qual romanga el funcionament de l'aplicació o el sistema d'informació; havent d'incloure, així mateix, en el seu objecte no sols el coneixement del resultat de l'aplicació o sistema informàtic que l'afecte específicament el seu cercle d'interessos sinó, a més i sobretot, l'origen de les dades emprades i la naturalesa i l'abast del tractament realitzat, és a dir, com el funcionament d'aquells pot donar lloc a un determinat resultat”.

La posició defensada, d'altra banda, té moltes més implicacions i som perfectament conscients d'això. D'una banda, no n'hi ha dubte, pràctiques i sobre la dificultat evident d'una adaptació completa i exigent a aquesta. Per un altre, en quants a algunes repercussions jurídiques addicionals. Perquè si l'activitat referida és jurídica i responsabilitat de les Administracions públiques en tota la seua extensió, això ha de suposar que ho serà amb caràcter general. Però no em sembla una conclusió ni molt menys desficaciada i, és més, es tracta de l'única orientació que permet afrontar els problemes futurs al fet que ens enfrontarem de manera satisfactòria –pensem en la responsabilitat administrativa i l'acció automatitzada de drons militars i quins serien els centres d'imputació jurídica d'admetre unes tesis o unes altres i comprendrem amb facilitat l'inacceptable d'una anàlisi que partira d'un altre punt de partida-. L'assumpció de la qual cosa, sens dubte, complicarà enormement les coses a molts nivells i obligarà a readaptar de manera molt més profunda que el realitzat fins hui el nostre Dret públic, però generarà efectes molt positius a l'hora de redefinir correctament certes garanties jurídiques ara posades en qüestió per la imparable conversió tecnològica de les nostres Administracions públiques i les capacitats que la mateixa li confereix.

– – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – 

Per a qui vulga aprofundir més en aquest tema des d'una perspectiva completament acadèmica i dogmàtica, podeu consultar aquest article que he publicat recentment en la Revista de Dret Públic. Teoria i Mètode:

A. Boix Palop (2020): Los algoritmos son reglamentos: La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones, en Revista de Derecho Público. Teoría y Método, nº 1, 2020, pp. 223-269.