Administraciones públicas e inteligencia artificial. ¿Existen suficientes garantías jurídicas?
Adrián Palma Ortigosa
Personal Investigador en Formación
Departamento Derecho Constitucional UV
- Administración Pública y desarrollo tecnológico
- La revolución digital. La inteligencia artificial y la toma de decisiones en la Administración.
- Ventajas e inconvenientes de su uso por parte de las Administraciones Públicas
- El derecho administrativo ante esta nueva realidad. El déficit de regulación.
- Propuestas normativas desde el derecho público.
Administración Pública y desarrollo tecnológico
Las Administración Pública española nunca se ha caracterizado por ser puntera a la hora de incorporar todo tipo de tecnologías. Ejemplo de ello lo podemos encontrar en las dificultades que ha supuesto la integración completa de la Administración electrónica como modo natural del funcionamiento de esta. Las razones de este déficit de transformación digital administrativa obedecen entre otras causas a los elevados costes de inversión a la hora de implantarlos, la falta de personal de la Administración especializado en el manejo de estas herramientas, así como en muchas ocasiones al recelo tanto de los operadores jurídicos como de los ciudadanos en el uso de dichas tecnologías. Pese a estos inconvenientes, es evidente que las nuevas tecnologías aplicadas a estos procesos se convierten en herramientas perfectas para potenciar principios básicos que rigen el funcionamiento de las Administraciones Públicas como el de eficacia. (art.103 CE).
La revolución digital. La inteligencia artificial y la toma de decisiones en la Administración.
La inteligencia artificial (en adelante IA), actualmente en boca de todos, se presenta como una oportunidad para las Administraciones Públicas en la toma de decisiones y buena gestión de sus actividades. Esta nueva tecnología se caracteriza por desarrollar máquinas que sean capaces de actuar y adoptar decisiones que, en el supuesto de que fueran realizadas por personas, las tildaríamos de inteligentes. Para obtener ese “grado de inteligencia”, la IA se basa en toda una serie de herramientas entre las que destaca el aprendizaje automático. Este último, apoyado por algoritmos, tiene como objetivo esencial aprender de un conjunto de datos las correlaciones y patrones existentes en dicha base de datos y, utilizar lo aprendido, en la toma de decisiones posterior. De esta manera, cuando al algoritmo posteriormente se le ingresan nuevas entradas desconocidas, este es capaz de adoptar decisiones adecuadas en un entorno real basadas en lo aprendido durante la fase de entrenamiento. Es decir, a diferencia de los algoritmos donde todo queda programado y se preconfigura a través de reglas e instrucciones (algoritmos deterministas), el aprendizaje automático permite crear sistemas algorítmicos que, al aprender de un conjunto esos datos, no necesitan ser programado enteramente para adoptar decisiones adecuadas (algoritmos no deterministas). Esos patrones no son programados, sino detectados y aprendidos por estos algoritmos. Ello permite a las organizaciones incorporar estos sistemas en ámbitos excesivamente complejos, cambiantes o inciertos donde, resulta imposible o relativamente costoso instrumentalizar y prever todas las reglas y situaciones a las que se enfrentará el sistema algorítmico cuando adopte decisiones. Por ejemplo, el algoritmo que utiliza la Agencia Tributaria para la Declaración de la Renta es un algoritmo determinista ya que, siendo complejo, todas sus reglas y variables están completamente definidas. Así, ante el ingreso de determinados datos, el sistema ejecuta las instrucciones previamente marcadas y adopta la salida previamente definida en función de la entrada incorporada. Sin embargo, un ejemplo de algoritmos no determinista lo encontramos en el sistema que utiliza la Generalitat Valenciana para detectar posibles malas prácticas en la Administración (Saler). Este sistema, si bien es cierto que tiene un alto grado de programación, su tecnología descansa en algoritmos no deterministas, ello es así porque sería imposible programar todas y cada una de las actuaciones que pueden llegar a considerarse malas prácticas.
Ventajas e inconvenientes de su uso por parte de las Administraciones Públicas
Precisamente, las ventajas que ofrecen estos algoritmos basados en aprendizaje automático han permitido a las Administraciones Públicas comenzar a incorporar estos sistemas en la realización de tareas y funciones que hasta la fecha estaban vetadas a las máquinas, fruto de la excesiva complejidad o variabilidad del entorno donde se pretendía utilizar el algoritmo. Es decir, la “maquinita” ya no sólo ayuda a la Administración a realizar tareas de formas más rápida y eficiente tras programar todas las reglas que un humano realizaría más lentamente, sino que además, ahora, puede resolver tareas o llevar a cabo funciones en ámbitos donde dicha instrumentalización o marcación de pautas previas resulta imposible por la innumerable confluencia de factores que se han tener en cuenta en dichos entornos. Ejemplos de ello: Valoración del riesgo de reincidencia delictiva (VioGén), probabilidad de que una denuncia sea falsa (VeriPol) o la concesión de ayudas sociales. (BOSCO). No obstante, y debido a la falta de transparencia de este último algoritmo, desconocemos si realmente se basa en técnicas o no de aprendizaje automático o más bien nos encontramos ante un algoritmo determinista.
Por otro lado, las ventajas que ofrecen estos sistemas a la hora de enfrentarse a situaciones no definidas o no programadas por completo también presentan sus inconvenientes. De esta manera, y dado que las reglas establecidas por los diseñadores son mínimas, los resultados que arrojará en muchos casos estos sistemas serán poco explicables para los propios programadores de los mismos. Además, al ser algoritmos que en muchos casos son sumamente complejos, la falta de interpretabilidad de estos también será habitual (black box). Finalmente, si los datos con los que se alimenta el sistema durante la fase de entrenamiento y con los que aprenderá no son adecuados, las decisiones posteriores también podrás ser poco precisas. Estos inconvenientes pueden chocar frontalmente con muchos de los principios básicos en los que se asienta la actuación de los poderes públicos.
El derecho administrativo ante esta nueva realidad. El déficit de regulación.
Dado que la IA todavía se encuentra en una fase incipiente de consolidación y sólo en los últimos años su uso ha empezado a generalizarse por parte de los poderes públicas en sus actuaciones. Podemos indicar sin miedo a equivocarnos que existe un importante déficit de regulación a la hora de afrontar este fenómeno. En la actualidad, son pocas las normas que expresamente afrontan esta realidad o, afrontándolas, prevén un régimen normativo y garantista excesivamente débil.
Por lo que se refiere a las normas que expresamente hace referencia a este fenómeno, podemos destacar las siguientes:
A pesar de sus limitaciones ligadas a su ámbito de aplicación, el Reglamento General de Protección de Datos establece toda una serie de garantías jurídicas expresas en favor de los particulares que se vean sometidos a la toma de decisiones algorítmicas plenamente automatizadas (arts. 13.2.f , 14.2.g, 15.1.h y 22).Entre otras, se reconocen derechos informativos que favorecen la transparencia , se prevé la posibilidad de recurrir la decisión e incluso, aunque con cierta polémica, la explicación de la decisión (cdo.71). Independientemente de estas garantías expresas, el resto de la normativa de protección de datos será también perfectamente aplicable. Además, y tras las reformas operadas a la Ley de Contratos del Sector Público, ahora, en los pliegos del contrato deberá hacerse mención expresa al cumplimiento por parte del contratista del cumplimiento de la normativa de protección de datos (art. 35 LCSP), la no incorporación en dicho pliego de dichas obligaciones de cumplimiento será motivo de nulidad del contrato. (art.39.h LCSP) Trasladado a la realidad que analizamos, será muy habitual que empresas privadas sean contratadas para la gestión de los sistemas de IA que ellas mismas han diseñado, lo que exigirá una garantía mayor de lo tratamientos de datos llevados a cabo a través de estos sistemas inteligentes desde el diseño. En el ámbito policial destaca la Directiva 2016/680 de Policía (art.11.3) que prohíbe la elaboración de perfiles de datos especiales que generen discriminación (algo, por otro lado, lógico).
A su vez, tanto la Ley General Tributaria (art.96) como la Ley 40/2015 (art.41) hacen mención a la actuación administrativa automatizada. Ambos preceptos prevén de forma sucinta una serie de exigencias mínimas que deben establecerse por parte de las administraciones cuando lleven a cabo estas actuaciones. Entre las cuales, se incluye la designación del órgano competente, la definición de las especificaciones técnicas del programa, así como una serie de medidas relacionadas con la rendición de cuentas. Estas exigencias, además de ser insuficientes, también pueden entenderse que quedan limitadas a aquellas actuaciones y decisiones plenamente automatizadas donde el papel del humano es irrelevante. Este límite es importante debido a que, a día de hoy, en la mayoría de las ocasiones los resultados que dictan los algoritmos se utilizan como apoyo o soporte para la decisión final, la cual, será adoptada por el órgano competente.
Por otro lado, existe toda una serie de preceptos y normas que, sin estar diseñados expresamente para el uso de sistemas automatizados, reconocen toda una serie de garantías jurídicas exigibles cuando la Administración haga uso de los mismos.
Para empezar, el Esquema Nacional de Seguridad es perfectamente aplicable a los sistemas de IA que utilicen información a través de medios electrónicos de las Administraciones Públicas.
Además de la seguridad de la información, el principio de transparencia en la actuación de las Administraciones Publicas también tiene mucho que decir en este ámbito. Concretamente, el derecho de acceso reconocido en la Ley de transparencia, acceso a la información pública y buen gobierno nacional y el resto de leyes autonómicas creemos que permite el acceso cuanto menos al algoritmo y a su código fuente. Resulta más complejo valorar si las exigencias de transparencia también podrían extenderse a los datos con los que se alimentaron el algoritmo durante la fase de entrenamiento. Dicho esto, y teniendo en cuenta que las Administraciones Públicas son bastante reacias incluso a informar del uso de estos sistemas, la puesta en abierto del algoritmo u otras cuestiones relacionadas con el mismo a primera vista se muestra como una dura batalla. A ello hemos de sumarle la posibilidad de alegar los límites legítimos que la propia ley prevé como son la propiedad intelectual, seguridad nacional o los secretos comerciales.
Junto a estas normas específicas, existen a su vez una serie de principios o derechos de los que se pueden extraer los fundamentos necesarios para exigir a las administraciones unas garantáis mínimas de cumplimiento cuando se hace uso de estos sistemas inteligentes. Me estoy refiriendo al principio de igualdad, la prohibición de discriminación (art 14 CE) o el buen gobierno. (Art 43 CDFUE)
Propuestas normativas desde el derecho público.
La inexistencia actual de una normativa específica que regule el uso de sistemas automatizados basados en inteligencia artificial ha llevado en los últimos años a la redacción de toda una serie de directrices, recomendaciones y guías a nivel internacional que potencien principios éticos para regular estos sistemas. Tales directrices sin embargo no dejan de ser eso, es decir, recomendaciones. De manera que, si bien la ética puede ayudar a inspirar buenas prácticas por parte de aquellas organizaciones que utilizan tales sistemas, en muchos casos resultan insuficientes, sobre todo, cuando las implicaciones jurídicas que suponen la irrupción de estas tecnologías por parte de las administraciones son tan relevantes. En España podemos destacar las propuestas planteadas por la Red de Derecho Administrativo e Inteligencia Artificial (DAIA).
Por lo que se refiere a la doctrina, se ha abogado por el desarrollo de toda una serie de propuestas que en parte tratan de hacer frente a los principales problemas que presenta esta tecnología. Así, nos encontramos con aquellos que propugnan la creación de nuevas garantías como la reserva de humanidad en determinadas actuaciones realizados por la Administración (Juli Ponce). Otros, abogan por una ampliación de las garantías ya presentes en el procedimiento administrativo pero adaptadas a los desafíos que plantea la IA como es el caso de ampliar las exigencias de motivación de los actos administrativos (Agustí Cerrillo). También se ha promovido el llamado “levantamiento del velo” como técnica que facilite la persona que adoptó realmente la decisión y si dicha decisión es o no autonomizada (Cotino). Finalmente cabe destacar la propuesta que considera que los algoritmos son reglamentos, planteando la necesidad de exigir a estos sistemas las garantías de estas normas jurídicas, adaptadas como no puede ser de otra forma a las especificidades de dichos sistemas. (Andrés Boix).
Matriz del riesgo que puede generar un sistema IA en Nueva Zelanda
Junto a estas aportaciones provenientes del mundo de la academia y del sector social, en el entorno comparado empiezan a darse los primeros pasos en la regulación de los sistemas de IA en el sector público. Llama especialmente la atención la regulación establecida por países como Canadá o Nueva Zelanda, los cuales, obligan a las Administraciones Públicas a realizar una evaluación de impacto de los sistemas de inteligencia artificial para que, una vez valorado dicho impacto y en función del riesgo que pueda presentar la implantación de esos sistemas en los derechos e intereses de las personas, se fijen mayores o menores exigencias y deberes jurídicos. A nivel de la Unión Europea, este mismo enfoque es el que parece que acabará implantándose de acuerdo a lo reflejado en el Libro Blanco sobre inteligencia artificial de la Comisión Europea. Por último, y como paso que favorece la transparencia algorítmica, las ciudades de Ámsterdam, Helsinki y Nantes han creado distintos registros de los sistemas algorítmicos que son usados por las Administraciones Públicas en dichas ciudades informando sobre toda una serie de aspectos básicos de estos sistemas.
Queda claro por tanto la necesidad de afrontar jurídicamente esta realidad. Y es que, actualmente nos encontramos en una fase donde ni siquiera conocemos el grado de implantación real de la inteligencia artificial en el seno de nuestras administraciones. Ello limita la posibilidad de realizar estudios serios sobe sus usos y las incidencias en los ciudadanos. El enfoque del riesgo que parece propugnarse en todas las instancias internacionales permitirá la afloración de un número importante de sistemas que actualmente operan en la oscuridad, lo que favorecerá a su vez no sólo una mejora en el cumplimiento de las exigencias normativas que se derive de la pertenencia a ese grupo de riesgo, sino que, además, permitirá que terceros puedan analizar sus posibles impactos. En este sentido, es más que recomendable que se creé o en su caso se asignen a un determinado ente administrativo las tareas de supervisión y en su caso seguimiento del uso de estos sistemas por parte de la Administración. A día de hoy pensamos que la Agencia Española de Protección de Datos puede mostrarse como una autoridad adecuada, no obstante, y dado que sus funciones quedan limitadas a la protección del derecho fundamental a la protección de datos, quizás, sea necesario la creación de otro ente independiente.
Por otro lado, estas exigencias jurídicas cambiarán la dinámica habitual de implantación de estos sistemas inteligentes por parte de las Administraciones Públicas. Así, si hasta ahora estos sistemas, tanto si eran diseñados por la Administración, como si eran proporcionados por terceros obedecían en gran parte o tendían a centrarse en la posible precisión del sistema dejando en un segundo plano las garantías jurídicas o afectación de derechos que se podía generar. Ahora, desde el momento que se prevean ciertas exigencias legales, se produce un vuelco, ya que, desde el diseño de estos sistemas, se deberán tener en cuenta los efectos que dicho algoritmo inteligente pude generar en el entorno donde operará, lo que comportará valorar el impacto y en su caso, las exigencias legales. Por indicar un ejemplo: si una Administración pretende implantar un sistema algorítmico que tome decisiones en un contexto donde la normativa exija que dicha decisión sea necesariamente motivada, es muy posible que los algoritmos de caja negra (black box) queden en principio vetados. Al menos, en ese ámbito.
El presente trabajo forma parte de las actividades desarrolladas en el marco del proyecto “La regulación de la transformación digital y la economía colaborativa” PROMETEO/2017/064 Generalitat Valenciana y el Proyecto de I+D+i Retos MICINN “Derechos y garantías frente a las decisiones automatizadas en entornos de inteligencia artificial, IoT, big data y robótica. PID2019-108710RB-I00, 2020-2022
Personal Investigador en Formación
Departamento Derecho Constitucional
Universitat de València
