Sobre la naturaleza jurídica de los algoritmos empleados por la Administración para la toma de decisiones
Puedes descargar el artículo completo aquí
Resumen
I. Introducción
La relación del Derecho público y en concreto del Derecho administrativo con las llamadas “nuevas tecnologías” de la información y de la comunicación no es ya tan nueva sino que lleva muchos años desarrollándose, por lo que es posible en estos momentos contar ya con sólidos indicios de cuáles son los problemas y riesgos no sólo presentes sino también futuros, así como los retos que plantea el necesario ajuste de aquél a éstas. Este ajuste, en tanto que jurídico, no opera en el vacío sino que lo hace con base en un mandato constitucional que, con independencia de los desarrollos a los que ha dado lugar con posterioridad, algunos de gran virtuosismo -incluso hemos extraído un nuevo derecho fundamental de ese precepto, como es de todos conocido, en forma de “derecho a la autodeterminación informativa” del art. 18.4 CE-, obliga a respetar una regla bastante sencilla que, la compartamos o no, es a día de hoy el Derecho vigente: le directriz constitucional que encontramos en ese precepto constitucional impone limitar los desarrollos de estas tecnologías siempre que se necesario para garantizar el pleno ejercicio de derechos por parte de los ciudadanos. Por otro lado, a nadie debería escapársele que con esta formulación de manera implícita, y a mi juicio muy acertadamente, el texto constituyente concibe la evolución tecnológica como potencialmente muy peligrosa para los derechos de los ciudadanos y pone el acento sobre la necesidad de garantías jurídicas (algo esencial en estas materias que, desgraciadamente, no siempre tiene en cuenta nuestro legislador a la hora de reformar el procedimiento administrativo). De alguna manera, como ya se ha recordado (Cotino, 2019), esto impone una suerte de traslación del principio de precaución en clave tecnológica.
La razón por la que señalo estos dos factores a efectos de enmarcar este comentario, por muy obvios que puedan parecer y por ello de innecesaria expresión, es porque, sorprendentemente, ni el legislador ni la Administración pública española parecen particularmente concernidos por ellos. El tratamiento que la ley 30/1992, de 26 de noviembre, del Régimen Jurídico de las Administraciones Públicas y del Procedimiento Administrativo Común (LRJAP) da desde sus orígenes a esta cuestión es llamativamente pobre, por no decir prácticamente inexistente. Algo que, paradójicamente, como desarrollaré más adelante, tenía efectos positivos a mi juicio, en la medida en que, aunque sea cierto que se le puede reprochar a su texto original carecer de la “perspectiva dinámica” (Julián Valero, 2015), también lo es que las “pretensiones de amplitud en la regulación” de un precepto como el primigenio art. 45 LRJAP combinadas con reglas procedimentales expresadas con independencia del canal de comunicación empleado permitían aceptar ciertas soluciones con un grado de flexibilidad que quizás la práctica legislativa posterior, más ceñida a la regulación en concreto del fenómeno, ha debilitado. Adicionalmente, y de manera meramente principial, el mencionado precepto sí establece ciertas cautelas y recuerda la necesidad de preservar el contenido material de ls garantías sea cual sea el desarrollo tecnológico.
Una idea desaparecida de la actual Ley 39/2015, de Procedimiento Administrativo Común (LPAC) y a la que hemos de volver. La Ley 11/2007, de 22 de junio, de Acceso Electrónico de los Ciudadanos a los Servicios Públicos (LAE), por su parte, sí supuso un intento serio de, al menos, hacer frente al mandato constitucional de tratar de encauzar y limitar el uso de la informática de modo que no suponga mermas en la capacidad efectiva de los ciudadanos de hacer valer sus derechos. Sin embargo, ni su desarrollo fue demasiado satisfactorio ni la manera en que se ha procedido a integrar su contenido en la regulación común del procedimiento administrativo en la actualmente vigente LPAC son demasiado exigentes. Las críticas por las insuficiencias de esta integración han sido generalizadas entre quienes han analizado la cuestión (véase Baño León, 2015; Santamaría Pastor, 2015; o, por ejemplo, la entrada que dediqué a esta cuestión en este mismo blog).
A partir de estas ideas básicas de traslado de las garantías tradicionales en sentido material al nuevo contexto tecnológico y de su importancia capital a la hora de desplegar el empleo de medios tecnológicos por parte de las Administraciones Públicas vamos a tratar de justificar la necesidad de traducir algunas de las reglas tradicionales, de la forma más prudente posible, al empleo por parte de las Administraciones Públicas de algoritmos, utilización que a día de hoy cuenta con un marco jurídico más bien parco y peligrosamente generoso.
II. El código fuente es código jurídico y como tal hay que tratarlo
En una de las primeras obras que trataron de forma moderna y global la enorme significación jurídica de los cambios que las nuevas tecnologías nos iban a deparar, la primera edición de Code (Lessig, 1999), se avanza desde sus primeras páginas una reflexión que el tiempo no ha hecho sino confirmar: estamos ya de lleno en una sociedad en la que, cada vez más, el verdadero alcance de los derechos de los ciudadanos va a depender en mayor medida de los códigos de programación a partir de los cuales se articula el funcionamiento de todo tipo de aplicaciones informáticas que de los mismísimos códigos jurídicos tradicionales que tanto veneramos los juristas. La afirmación puede parecer exagerada –o quizás exagerada… de momento- pero apunta en una dirección interesante: la programación de las tareas, por definición automatizadas, de mayor o menor complejidad, son un elemento consustancial al aprovechamiento de las tecnologías actualmente disponibles que, además, está llamado a ir a más en el futuro. De hecho, no sólo a ir a más sino a ser, y conviene tenerlo bien presente, la parte cuantitativamente más relevante de la acción administrativa del futuro. Un futuro que, ha de tenerse bien presente, está ya aquí en materia de automatización y programación de actividades supuestamente complejas y no sólo en actividades privadas sino en muchas donde hay bien una supervisión pública intensa o un directo protagonismo “prestacional” por parte de la propia Administración –conducción de coches automatizada, drones que operan a partir de programación, trenes sin conductor, armas modernas que deciden cuándo activarse a partir de una programación previsamente determinada…-
Est dinámica será tanto más importante cuanta más inteligencia artificial haya implicada –y cada vez habrá más-. Así, probablemente, el estudio de las categorías clásicas es particularmente útil para mostrarnos su inutilidad hasta que no asumamos que hemos de, sencillamente, asumir que la inteligencia artificial es inteligencia a casi todos los efectos jurídicos y tratarla, en este caso sí, de un modo acorde a como tratamos a la inteligencia, digamos, “tradicional”. Las reflexiones en materia de inteligencia artificial y su evolución futura son numerosísimas en la actualidad. Valga la actualizada síntesis, con mucha información y planteando los retos de futuro, sobre los retos regulatorios de futuro que aparecen en las conclusiones de Asilomar (Tegmark, 2017) o las cautelas que recientemente han desarrollado en forma de principios de regulación las instituciones europeas.
Por la razón expuesta es por lo que es particularmente relevante, a su vez, asumir de una vez con todas las consecuencias que, como enunciábamos inicialmente, el código fuente es código jurídico. Lo es, de hecho, a todos los efectos. Lo es porque ese código delimita el efectivo marco de actuación de los particulares, marca los límites a sus derechos y genera una producción con efectos jurídicos que fácilmente podemos llamar “actividad administrativa” de forma automatizada a partir de esos parámetros previamente configurados, no tengo la más mínima duda de que estamos ante algo muy parecido a normas reglamentarias. Y lo es también porque es el reglamento que preordena los márgenes de la actuación de la inteligencia artificial que, más o menos modesta según los casos, ejecuta sus instrucciones, de un modo conceptualmente parangonable, de forma estricta además, a la actuación que nuestro Derecho presupone a una inteligencia humana convencional cuando ha de ejecutar una actuación adminitrativa normativamente enmarcada. Porque, como se ha dicho, el código fuente es, en efecto, código jurídico y como tal actúa. A efectos de la forma en que algoritmos, programación y código predeterminan deciciones puede constarse que toda programación no es sino una reglamentación (Harari, 2015; Tegmark, 2017) simplemente mucho más predeterminada y fiable.
Desde este punto de vista podríamos considerar que, sin duda, todo algoritmo usado por la Administración para adoptar decisiones no es sino un reglamento. O que todo algoritmo de apoyo opera como la parte reglada de un proceso de toma de decisiones. Que su «naturaleza jurídica», si así se quiere explicar, es la de un reglamento tradicional sin necesidad de añadir mucho más… y provocando la consecuencia jurídica de que hubiera que trasladar in toto la regulación tradicional que hemos ido decantando durante todos estos años respecto de las normas reglamentarias y su funcionamiento y encuadramiento en Derecho.
Ello no obstante, esta discusión sobre la naturaleza jurídica puede obviarse sin problemas en la práctica. A fin de cuentas, no es sino una cuestión conceptual y, si se quiere, dogmática, con pocas repercusiones prácticas… siempre y cuando se quede sólo en eso. Mucho más significativa, en cambio, y cuestión de la que en ningún caso se puede prescindir, es su derivada práctica y, en concreto, la ineludible necesidad de trasladar, como habría exigido el art. 45 LRJAP, todas aquellas garantías respecto de este tipo de “código” para proteger la posición y derechos de los ciudadanos de manera que queden en idéntica posición que cuando son afectados por actuaciones administrativas ordinarias.
III. La traducción de algunas garantías tradicionales a la regulación de la actividad automatizada y realizada por medio de algoritmos/programas… y sus problemas
Si analizamos con un mínimo de exigencia cuáles habrían de ser esas garantías, resulta que son estrictamente equivalentes a las que, más o menos, hemos ido decantando arduamente durante décadas como absolutamente necesarias en un Estado de Derecho para cualquier norma reglamentaria. Lo cual no es llamativo, pues, como se ha dicho, plantean materialmente los mismos problemas. Yendo un poco más allá en este punto, un régimen mínimo de garantías:
- Debiera obligar como mínimo a que todo proceso de elaboración de estos códigos se desarrollara de una manera estrictamente pautada, con información pública, participación ciudadana, y con respeto a una serie de reglas y procedimientos de elaboración para los mismos que aseguren su efectivo contraste y análisis profundo durante ese proceso de elaboración (y, por ejemplo, aplicarles todo el nuevo Título VI de la LPAC). Sólo de este modo puede lograrse que la producción de las normas que de facto van a gobernar cada vez más las relaciones interadministrativas y a enmarcar los derechos de los ciudadanos sean no sólo de la suficiente calidad técnica –pero también jurídica aunque estemos hablando aparentemente de la mera programación informática- sino que además pueda desarrollarse desde su origen un control adecuado sobre el funcionamiento de las aplicaciones y de los diversos sistemas automatizados. El régimen actualmente vigente en la ley 40/2019, de Régimen Jurídico de las Administraciones Püblicas, (LRJ) es francamente insuficiente a este respecto, pues se limita a exigir, únicamente, la identidad del responsable de la programación en la regulación, insólitamente escueta, del encuadramiento jurídico de la actividad jurídica automatizada (art. 41.2 LRJ). No se desconocen los problemas y dificultades que de esta posición más exigente se derivarían en cuanto a las exigencias para poner en marcha actuaciones automatizadas, pero las garantías de los ciudadanos justifican sobradamente que se actúe de este modo, como demuestra la lógica de la propia legislación vigente sobre la producción de normas reglamentarias que vayan a desplegar efectos sobre los ciudadanos.
- En lógica correspondencia con esta necesidad de control, y una vez aprobada, la programación correspondiente, y todo su código fuente, debieran ser siempre públicos –del mismo modo que lo son, y de nuevo aparece una evidente identidad de razón, las normas reglamentarias-. Todos los ciudadanos debieran poder conocer y revisar hasta el último detalle esta programación, al menos en todos aquellos casos y en la medida en que tenga que ver con el ejercicio de sus derechos, de modo que se pueda entender por cualquiera con los conocimientos y el tiempo necesarios el exacto funcionamiento del código y que se puedan desentrañar tanto los efectos del mismo como, en su caso, sus posibles fallas y defectos. Como ha señalado la doctrina, tampoco a día de hoy tenemos garantías suficientes en este sentido, pues apenas si contamos con la externa y no pensada para resolver esta cuestión protección que aporta la LOPD al establecer que todo ciudadano ha de ser informado de que va a ser objeto de un tratamiento y decisión automatizada (Cotino, 2019). Tampoco mucho más exigente, aunque a falta de otras normas que encuadren la cuestión a ella se ha remitido hasta la fecha casi tofo el mundo, es en la práctica el Reglamento europeo General de Protección de Datos (RGDP). De hecho, una reciente e importante sentencia neerlandesa de la Corte del Distrito de La Haya de 5 de febrero de 2020 sobre empleo de algoritmos para realizar ciertas apreciaciones de riesgo que luego la Administración emplearía en inspecciones y controles, para prohibir el empleo del algoritmo en cuestión, ha de recurrir a las normas europeas del CEDH en materia de privacidad ante la ausencia de reglas verdaderamente exigentes en el RGPD. Incluso en el caso de que de ahí se derive alguna posibilidad de opting out, que por lo demás no parece que sea el caso combinado con el art. 41.2 LRJ vigente, es una garantías francamente insuficiente. Ninguna consideración de protección de propiedad intelectual o industrial, por otro lado, debiera poder oponerse a esta pretensión. De otro modo estaríamos aceptando una cierta “privatización” inadmisible de algunas normas y de sus mecanismos de funcionamiento, algo que no porque tenga ciertos precedentes en nuestros Derechos – es el caso de algunas normas privadas que tienen efectos públicos y que no son enteramente públicas, lo que con razón ha sido denunciado como contrario a nuestro modelo de Estado de Derecho- deja de ser inquietante y que además en este caso cuenta con el agravante de que la complejidad de este tipo de programación la hace especialmente opaca al escrutinio individual por cada ciudadano –razón por la cual es si cabe más importante que éste pueda ser realizado de forma general y constante por toda la colectividad, pero en realidad, estas barreras de entrada, aunque de diverso tipo, tampoco son, de nuevo, muy diferentes a las que el común de los ciudadanos pueden experimentar respecto de la mayor parte de las normas reglamentarias: la diferencia es que aquí los “legos” somos los tradicionales chamanes que las controlábamos en el pasado: los juristas-. Como es evidente, de esta posición se derivará un encarecimiento de la actividad administrativa, por cuanto el desarrollo o, en su caso, la adquisición de programas que incluya la propiedad del código y con ella su posible difusión y publicación es más cara que la compra de meras licencias de uso. Pero, de nuevo, la mínima precaución debida y los derechos de los ciudadanos justifican sobradamente la cautela.
- Además, esta programación, reforzando la idea de que estamos ante una realidad con una clara identidad de razón con cualquier norma reglamentaria, debiera poder ser cuestionada y analizada en cada supuesto aplicativo concreto, y tras la constatación en su caso de la existencia de defectos en la misma o de confirmarse que su funcionamiento limita o cercena derechos de los ciudadanos, debiera poder ser impugnada por ello, con independencia de cuándo hubiera sido aprobada. De nuevo vemos que, más allá de la cuestión puramente terminológica y conceptual, las garantías materiales por las que vela el establecimiento de la posibilidad de un procedimiento de recurso tanto directo como indirecto contra reglamentos tienen toda la lógica que sean aquí replicadas porque los problemas prácticos y riesgos concretos que puede suponer una programación informática fallida, un código fuente erróneo, son los mismos que los que supone un reglamento ilegal.
- En este sentido, ha de criticarse la posición defendida por Esteve Pardo (2007), que califica de ilusoria la pretensión de controlar por medio del Derecho “cada uno de los detalles y aspectos concretos del funcionamiento de las aplicaciones informáticas y los sistemas de información” (también Valero, 2015, parece escéptico en algún momento sobre la posibilidades efectiva de lograr hacer funcionar estos controles). Al menos, y en la medida en que nos refiramos a las aplicaciones y sistemas que está empleando la Administración pública, y más aún cuando se trata de las que ésta emplea en sus relaciones con los ciudadanos, esta aspiración no sólo no es ilusoria sino que debiera ser absolutamente esencial. Y con todo detalle y rigor, es decir, llegando a “todos los detalles y aspectos concretos”, sea el código propietario o no, razón por la cual, por cierto –y como desarrollaré más tarde, esta cuestión debiera ser reevaluada para garantizar la independencia de la Administración y su capacidad efectiva de hacer su labor-. En la medida en que, como se ha reiterado, estamos hablando de un código que es a la postre código jurídico, toda esta labor ha de ser completamente controlada y definida por la Administración pública, que es además la responsable a todos los efectos de la misma. Y ello con independencia de que pueda ser externalizada o de que normalmente sea realizada, en el mejor de los casos, por los servicios de informática de las respectivas administraciones públicas. Esta tarea, por mucho que pueda requerir de una capacidad y especialización adicional, es indudablemente jurídica y ha de ser tratada como tal.
IV. Efectos adicionales de la actividad algorítimica que refuerzan la necesidad de garantías
A corto plazo, es patente la necesidad de mayor control sobre el uso meramente accesorio y de apoyo (transparencia, qué, cuándo, cómo, por qué, en qué casos, con qué incidencia), por ejemplo en tareas de inspección, pero no ha de perderse de vista que, además, su carácter de actuación de apoyo es crecientemente una ficción. Además, esta pretensión es coherente con la reciente exigencia incrementada en el encuadre jurídico de la legalidad de estas actuaciones.
En general hay una gran potencia, y beneficios, en el empleo de algoritmos a la hora de permitir una mayor capacidad de disección y de control sobre las decisiones y situaciones en entornos predecibles (y la actuación administrativa y las decisiones judiciales, por ejemplo, lo son). No tiene sentido no aprovecharla (a este respecto la decisión polémica adoptada en Francia y la decisión 2019-778 DC du 21 mars 2019 del Conseil Constitutionnel francés que ha declarado inconstitucional la restricción sobre la publicidad y posibilidad de reutilización de identidad de jueces en sus decisiones y votos particulares (art. 33 código de justicia). Simplemente, ha de ponerse esta capacidad de disección y control a jugar en favor de la previsibilidad y el control ciudadano.
Previsibilidad y transparencia absolutas que, además, serán si cabe más necesarias para hacer frente a algunos cambios estructurales que las decisiones automatizadas o algorítmicas provocarán inevitablemente sobre los entornos de actuación informal, no reglada o incluso sobre las consecuencias de la acción no-legal, alegal o ilegal. A modo de síntesis rápida, piénsese en estos ejemplos:
- la determinación de qué es o no parte del expediente administrativo (art. 70.4 LPAC), de qué ha de formar parte del él a efectos de transparencia, acceso… tiene gran importancia a la hora de determinar qué procesos algorítmicos forman o no parte del mismo;
- los algoritmos y los programas van a generas decisiones siempre iguales y uniformes, ¿hay un valor en la no uniformidad y en la posibilidad de matizar, en la dispersión, en la informalidad decisoria (al menos, en algunos casos)? El uso de algoritmos y programas, en la medida en que la veda u obliga a programar de antemano las diferencias, nos sitúa frente a una necesidad de total transparencia decisoria que ha de ser totalmente pública;
- en una línea semejante, la dureza o generosidad en las consecuencias jurídicas no admitirá modulaciones no previstas de antemano, lo que de nuevo exige una reflexión completa, detallada y totalmente transparente ex ante (sobre esto, también, Nieva Fenoll, 2018);
- por último, y en esta misma línea, la imposibilidad de actuación en la ilegalidad o contra el algoritmo, ¿tiene valor en ocasiones, tanto particular como en ocasiones social la actuación no adecuada a la norma? ¿tiene sentido poder consentirla o aceptarla? ¿hay costes diferenciados en la ilegalidad que pueden señalar utilidad diferenciada que quizás es indicio de que pueda generar utilidad social si se pagan los costes diferenciados en que se puede incurrir?
Todas estas preguntas han de ser contestadas, una vez más, ex ante, y por ello requieren de transparencia y garantías propias de la elaboración de un reglamento.
V. A modo de conclusión (provisional)
Por todas estas razones, el actual régimen legal que contempla que estas programaciones han de ser aprobadas formalmente por la entidad pública que vaya a utilizarla “por ejemplo, a través de un acto administrativo, no siendo imprescindible una norma reglamentaria-, especialmente en aquellos supuestos en que su funcionamiento pueda afectar a los derechos y libertades de los ciudadanos” (Valero, 2015) es francamente insuficiente. Insistiendo en la necesidad de reconstruir las categorías y no pretender que haya de ser necesariamente posible una coincidencia exacta o una reconducción absoluta a conceptos surgidos para designar, sencillamente, otras realidades, podría decirse que no sólo es que sí deberían ser aprobados por medio de normas reglamentarias sino que debieran serlo como normas reglamentarias porque en la práctica y a efectos materiales es lo que son… o, al menos, debieran ser aprobadas con un sistema que garantice todos los mecanismos de participación, publicidad, control e impugnabilidad procesal propios de las normas reglamentarias, en la medida en que el código fuente plantea exactamente las mismas necesidades de control que el código jurídico, pues de aquél van a depender, exactamente en la misma medida que en el pasado dependían de éste, los derechos de los ciudadanos en sus relaciones con los poderes públicos y su efectividad. Ésta es una reflexión que, por lo demás, no está tan alejada, entiendo, del espíritu que late en trabajos como el de Valero (2015) que venimos citando cuando reclama con toda la razón “un derecho por parte de los ciudadanos a obtener toda aquella información que permita la identificación de los medios y aplicaciones utilizadas, del órgano bajo cuyo control permanezca el funcionamiento de la aplicación o el sistema de información; debiendo incluir, asimismo, en su objeto no sólo el conocimiento del resultado de la aplicación o sistema informático que le afecte específicamente a su círculo de intereses sino, además y sobre todo, el origen de los datos empleados y la naturaleza y el alcance del tratamiento realizado, es decir, cómo el funcionamiento de aquéllos puede dar lugar a un determinado resultado”.
La posición defendida, por lo demás, tiene muchas más implicaciones y somos perfectamente conscientes de ello. Por un lado, qué duda cabe, prácticas y sobre la dificultad evidente de una adaptación completa y exigente a la misma. Por otro, en cuantos a algunas repercusiones jurídicas adicionales. Porque si la actividad referida es jurídica y responsabilidad de las Administraciones públicas en toda su extensión, ello ha de suponer que lo será a todos los efectos. Pero no me parece una conclusión ni mucho menos descabellada y, es más, se trata de la única orientación que permite afrontar los problemas futuros a que nos vamos a enfrentar de modo satisfactorio –pensemos en la responsabilidad administrativa y la acción automatizada de drones militares y cuáles serían los centros de imputación jurídica de admitir unas tesis u otras y comprenderemos con facilidad lo inaceptable de un análisis que partiera de otro punmto de partida-. La asunción de lo cual, sin duda, complicará enormemente las cosas a muchos niveles y obligará a readaptar de modo mucho más profundo que lo realizado hasta la fecha nuestro Derecho público, pero generará efectos muy positivos a la hora de redefinir correctamente ciertas garantías jurídicas ahora puestas en cuestión por la imparable conversión tecnológica de nuestras Administraciones públicas y las capacidades que la misma le confiere.
– – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – – –
Para quien quiera profundizar más en este tema desde una perspectiva completamente académica y dogmática, podéis consultar este artículo que he publicado recientemente en la Revista de Derecho Público. Teoría y Método:
A. Boix Palop (2020): Los algoritmos son reglamentos: La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones, en Revista de Derecho Público. Teoría y Método, nº 1, 2020, pp. 223-269.
Links:
