Discrecionalidad, Inteligencia Artificial y Reserva de Humanidad
Juli Ponce Soléri
Catedrático de Derecho Administrativo, Universidad de Barcelona
Karl Llewllyn
La compasión sin técnica es un caos; y la técnica sin compasión es una amenaza
1. La Inteligencia artificial (IA) y la buena administración
2. Evitando el sesgo de automatización e identificando las posibilidades y las limitaciones de la IA que pueden generar una mala administración
3. Tipos de potestades y papel de la IA
4. IA y discrecionalidad: la necesidad de un principio de reserva de humanidad establecido por ley en garantía de la empatía y la equidad.
1. La Inteligencia artificial (IA) y la buena administración
El derecho a una buena administración ha ganado carta de naturaleza en normativa europea y española y en la jurisprudencia del Tribunal de Justicia de la Unión Europea y de nuestro Tribunal Supremo. Una de sus más importantes consecuencias es la obligación jurídica de diligencia debida y debido cuidado en el ejercicio de las potestades administrativas, con especial atención a las discrecionales, que exige tener en cuenta y considerar todos los elementos relevantes antes de adoptar una decisión.
Como señala la Sentencia del Tribunal Supremo de 15 de octubre de 2020, entre muchas otras, el principio de buena administración “está implícito en nuestra Constitución (artículos 9.3, 103 y 106), ha sido positivizado en la Carta de Derechos Fundamentales de la Unión Europea (artículos 41 y 42), constituye, según la mejor doctrina, un nuevo paradigma del Derecho del siglo XXI referido a un modo de actuación pública que excluye la gestión negligente” que “lleva aparejado, por ello, un correlativo elenco de deberes plenamente exigible por el ciudadano a los órganos públicos”
Sin duda, el uso de big data y de algoritmos pueden contribuir a hacer realidad esa buena administración y un mejor uso de la discrecionalidad. Por un lado, por las capacidades de procesamiento de información muy superiores a las humanas que permiten. Así lo indica el Consejo de Estado italiano, en su sentencia 2270 de 2019, indicando en relación con el art. 97 de la Constitución italiana (buen andamento) “las ventajas indiscutibles de automatizar el proceso de toma de decisiones de la administración a través del uso de un procedimiento digital y a través de un "algoritmo”.
Por otro lado, la IA está desprovista de los sesgos cognitivos que afligen a los seres humanos, esto es, de los errores cognitivos repetidos propios de las personas, detectados y estudiados por la Psicología, la Economía y el Derecho desde hace décadas. Como ha señalado también el Consejo de Estado italiano, sección VI, en su sentencia de 13 de diciembre de 2019, no 8472 “los algoritmos prometen convertirse en el instrumento para corregir las distorsiones e imperfecciones que caracterizan típicamente los procesos cognitivos y las elecciones realizadas por los seres humanos, lo que se ha puesto de relieve especialmente en los últimos años por una impresionante literatura de economía del comportamiento y psicología cognitiva”
2. Evitando el sesgo de automatización e identificando las posibilidades y las limitaciones de la IA que pueden generar una mala administración
Ahora bien, como el propio Consejo de Estado italiano nos recuerda también en esta misma decisión, no deberíamos caer, por nuestra parte, en el sesgo de la automatización, ni confiar ciegamente (lo que da lugar incluso a las llamadas “muertes por GPS” , cuando conductores no le anteponen sus propios sentidos) o pensar que la IA no tiene sus propios problemas, entre los que cabe destacar la posibilidad de que la IA tenga sus propios sesgos, en parte provenientes de los sesgos humanos de los programadores, en parte adquiridos mediante el aprendizaje automático exacerbando discriminaciones ya existentes en la sociedad. Problemas que si surgen en el ámbito del ejercicio de potestades administrativas pueden causar precisamente lo contrario de lo buscado, es decir, una mala administración y una violación de los derechos de las personas, con una posible multiplicación exponencial, además.
El tipo de potestades administrativas en que la IA podría incidir y la clase de decisiones administrativas que podrían generarse mediante de forma automatizada y sin intervención humana es objeto de un incipiente debate entre la escasa doctrina española que se ha ocupado del tema. Mientras que, por ejemplo, para Huergo, Boix y Martín, en este último caso en supuestos de discrecionalidad de baja intensidad, como la técnica, el uso de la IA para tomar decisiones discrecionales totalmente automatizadas es deseable y posible, otros autores a nivel internacional ponen mayores reparos, como en el caso de Yeung, como ha expuesto Cerrillo.
Por nuestra parte, y por razones ya expuestas y que ahora desarrollamos con algún matiz, creemos que, en principio y como regla general, la toma de decisiones finales administrativas que supongan ejercicio de discrecionalidad (resoluciones que ponen fin a un procedimiento, reglamentos, planes, convenios, contratos) debería quedar reservada a seres humanos y sólo mediante una decisión expresa normativa con rango de ley podría permitirse la adopción de tales decisiones discrecionales a la IA.
Ello incluye la equívoca discrecionalidad técnica, puesto que si ésta existe, no es parametrizable al 100%, dado que en estos casos, como señala Laguna de Paz, existe un margen de apreciación “que no puede ser controlado con arreglo a criterios jurídicos, ni con la realización de pruebas o la solicitud de otros informes, que –por regla general– no añadirían mayor certeza al análisis, sino que simplemente ofrecerían una valoración alternativa”.
3. Tipos de potestades y papel de la IA
En primer lugar, hay que aceptar la posibilidad técnica de que la IA adopte decisiones administrativas, formalizadas o no, totalmente automatizadas. Cuestión diferente a esa posibilidad técnica de decisiones sin participación humana, es la de si las mismas deberían permitirse jurídicamente tanto para el ejercicio de potestades regladas como para el de discrecionales.
Desde luego, parece indiscutida la posibilidad de que la IA produzca decisiones automatizadas en relación con potestades regladas que impliquen, como señalan García de Enterría y Tomás Ramón Fernández en su clásico manual (García de Enterría, E. y Fernández, T.R (2000), Curso de Derecho Administrativo, vol. I, por ejemplo, 11ªed., pp. 454 y ss) que “opera aquí la Administración de una manera que podría llamarse automática” como “por ejemplo, jubilación por edad de los funcionarios, ascenso por antigüedad, liquidación de un tributo – aplicación de una cuota establecida por la Ley a una base fijada sobre un hecho imponible determinado – etc”
Es en el ámbito de las potestades regladas más sencillas donde creemos, como dijimos, que la IA puede tener un papel como substituta del decisor humano. Se trata de situaciones donde la subsunción jurídica es muy simple. Un supuesto es el contemplado, por ejemplo, en la Resolución de la Dirección General de la Agencia Estatal de la Administración Tributaria de 29 de diciembre de 2010 por la que se aprueban las aplicaciones informáticas para las actuaciones administrativas automatizadas, cuando señala entre las aplicaciones informáticas aprobadas y que se van a utilizar la referida a la obtención por los ciudadanos de certificados de encontrarse al corriente de las obligaciones tributarias (apartado primero, numero 1).
Ahora bien, como igualmente señalan estos autores:
“La existencia de potestades discrecionales es una exigencia indeclinable del gobierno humano: éste no puede ser reducido a una pura monocracia objetiva y neutral, a un simple juego automático de normas, contra lo que en su tiempo espero la entelequia social y política de la Ilustración (y como hoy, en cierto modo, alimenta la más vulgar fe en la informática y los ordenadores)”.
Como ha sido estudiado, la traslación de los paradigmas de la física newtoniana al Derecho generó la ilusión ilustrada de que el gobierno y la administración podría suponer una aplicación automática de normas, en la que los burócratas quizás pudieran ser sustituidos en un futuro por autómatas. Ahora bien, esa fe cuando conecta con la IA nos lleva a una situación en que, gracias a mecanismos de aprendizaje automático y profundo y otros avances en marcha, se podría dar lugar, en teoría, a la substitución de la ponderación basada en criterios no jurídicos que pueda realizar el decisor humano.
Esto es, el remplazo del ejercicio de la discrecionalidad humana por la de las máquinas.
Pero que esa operación sea posible técnicamente, no significa que deba ser siempre deseable socialmente. Enseguida nos referiremos a los límites jurídicos, que, en nuestra opinión, deben establecerse a la IA en la toma de decisiones discrecionales, no por limitaciones tecnológicas, sino de oportunidad al deberse establecer una reserva para la toma de ciertas decisiones a humanos, lo que denominaremos aquí una reserva de humanidad. Creemos, como vamos a razonar, que en el ámbito de decisiones discrecionales, la actividad administrativa sólo puede ser semiautomatizada, no totalmente automatizada. La IA podrá hacerse servir como apoyo, pero la ponderación final que conduzca a la decisión debería ser siempre humana.
A medida que en la concesión normativa de potestades implica la entrada de apreciaciones subjetivas basadas en criterios extrajurídicos (potestades regladas que exigen interpretación de conceptos, conceptos jurídicos indeterminados valorativos, discrecionalidad) se abren al decisor público una pluralidad de alternativas en el servicio al interés general, que, a pesar de lo que aún se sostiene a veces , no suponen una libertad de decisión entre indiferentes jurídicos, sino una obligación y responsabilidad de decidir cumpliendo las obligaciones jurídicas de buena administración conforme al estándar de diligencia debida.
4. IA y discrecionalidad: la necesidad de un principio de reserva de humanidad establecido por ley en garantía de la empatía y la equidad.
¿Qué papel puede tener la IA, si alguno, en este segundo caso cuando existe margen valorativo extrajurídico? Al respecto, se abren posibilidades y problemas, ya aludidos.
Queremos llamar ahora la atención sobre cómo el ejercicio de la discrecionalidad implica la necesidad de empatía, es decir de una “capacidad de identificarse con alguien y compartir sus sentimientos”, que, por el momento, es una característica típicamente humana.
Efectivamente, en ocasiones, al deber apreciarse por la Administración conceptos jurídicos indeterminados valorativos como la buena conducta, la buena fe, el ejercicio de la equidad en la revisión de oficio o la revocación, por ejemplo, o al ejercer una potestad discrecional que implica ponderación de elementos relevantes que afectan a personas hay un importante papel de la empatía en esa consideración de los hechos, intereses y derechos a considerar y sopesar.
El decisor público debería tener la capacidad de ponerse en la piel de los interesados, participantes y posibles afectados por la futura decisión, pues solo así podrá ponderar correctamente, para el buen ejercicio de la discrecionalidad. Precisamente, potenciar esa capacidad de empatía es una tarea importante en la formación de los servidores públicos.
No debe, sin embargo, confundirse esa empatía con la simpatía, prohibida por los deberes jurídicos de objetividad, neutralidad e imparcialidad y el derecho a la igualdad (arts. 14 y 103 CE). La empatía a la que nos referimos es diferente y forma parte de una característica que parece ser específicamente humana, vinculada con la capacidad de ponerse en el lugar del otro, entrar en resonancia con los sentimientos del otro (tanto alegría como sufrimiento), no sólo de forma cognitiva sino también emocional, para dar lugar a la compasión y al altruismo. Esa capacidad empática, está basada en parte en las neuronas espejo, pero no únicamente, pues implica aspectos emocionales y cognitivos y a numerosas áreas del cerebro.
Cuando se ejerce discrecionalidad administrativa y se toman en consideración hechos, intereses y derechos de personas, esa empatía debería estar presente, y sólo puede ejercerla un ser humano. Lo mismo ocurre en el ámbito judicial y ese fue el argumento esencial en el caso nortemericano State v. Loomis, 881 N.W.2d 749 (2016). Eric L. Loomis fue arrestado en Wisconsin por resistirse a un funcionario público después de ser encontrado conduciendo un automóvil robado. Para determinar la sentencia, el tribunal utilizó COMPAS (Correctional Ofenders Management Profiling for Alternative Sanctions), un programa de IAcapaz de estimar el riesgo de reincidencia del delincuente sobre la base de una entrevista (137 preguntas con respuestas restringidas) así como la inclusión en el programa de datos relacionados con los antecedentes penales y las condiciones socioeconómicas y personales del imputado.
¿Fue éste un erróneo uso de la discrecionalidad judicial? No en este caso, pues fue ejercida tomando en consideración todos los elementos relevantes del caso, entre ellos COMPAS, como uno más pero sin substituir la ponderación judicial. Así el voto particular enfatizó este punto al señalar que “El ejercicio adecuado de la discreción de un tribunal de circuito para dictar sentencia incluye una sentencia individualizada basada en los hechos del caso (…). Los acusados tienen un derecho al debido proceso (due process) de no ser sentenciados en base a factores impropios como la raza o el género”
Estaríamos ante un elemento de la phronesis, la sabiduría práctica o prudencia, aristotélica referida en Ética a Nicómaco, esto es al sabio ejercicio del poder, basado en una ponderación cuidadosa de las circunstancias pertinentes en cada toma de la decisión.
Desde luego que una IA puede imitar cognitivamente la empatía (entrenamiento en gestos faciales, tono de voz, etc.) pero carece de la consciencia, emoción y humanidad precisa para no degenerar en un psicópata de sílice - puesto que los psicópatas humanos carecen de empatía, pero la pueden simular, muy bien, para sus propios intereses.
Si, por tanto, la IA carece de empatía emocional con los humanos, porque hace falta ser humano para ello, entonces IA con empatía emocional sería, en estos momentos, una contradictio in terminis, y el sueño, en el sentido de aspiración, de la razón total (artificial en este caso) podría llegar a producir monstruos burocráticos que no resuenen emocionalmente ni se conecten con los humanos, por utilizar el ambiguo título del genial cuadro de Goya.
Fuente: https://es.wikipedia.org/wiki/El_sue%C3%B1o_de_la_raz%C3%B3n_produce_monstruos
Para evitar dichos monstruos administrativos, debe mantenerse en el ámbito de la discrecionalidad administrativa la posibilidad de ejercicio de la equidad humana, vinculada a la obligación jurídica de buena administración de análisis con la diligencia debida de los elementos relevantes de cada caso concreto para cada persona individualmente considerada, no debiéndose dejar arrastrar el decisor humano por las predicciones algorítmicas basadas en otros que establecen correlaciones para el supuesto. Equidad reconocida en el art. 3.2 del Código Civil: “La equidad habrá de ponderarse en la aplicación de las normas, si bien las resoluciones de los Tribunales sólo podrán descansar de manera exclusiva en ella cuando la ley expresamente lo permita”.
La Exposición de Motivos del Decreto 1836/1974, de 31 de mayo, por el que se sanciona con fuerza de Ley el texto articulado del título preliminar del Código Civil destacaba como la equidad funciona: “A modo de elemento tendente a lograr una aplicación de las normas sensible a las particularidades de los casos ha de considerar el valor reconocido a la equidad”. La STS 19 de desembre de 2013 nos recuerda que la equidad “Pretende humanizar y flexibilizar la aplicación individualizada de las normas jurídicas…”. Equidad que puede emplear tanto la Administración pública como los jueces encargados de controlarla, como demuestra, por ejemplo, la Sentencia de la Sala contencioso-administrativa del TSJ de Canarias (Las Palmas) de 12 de marzo de 2019, elaborada, sin duda, por un ser humano:
“Por otro lado, y fundamentalmente -en honor a la verdad-, es prácticamente imposible que la conciencia de los miembros de un Tribunal de Justicia -o la de este ponente, por lo menos- pueda quedar en paz después de confirmar la validez de unas multas por importes tan desmesurados como lo son las de las sanciones económicas aquí recurridas, cuya desproporción con los hechos objeto de censura, además de venir claramente desvinculada de la realidad social de estos tiempos, pugna con el más elemental sentido de la Justicia, …
La incertidumbre que rodea aún a la posibilidad de replicar una empatía emocional equivalente en la IA nos lleva a proponer la aplicación jurídica del principio de precaución para prevenir los graves riesgos con los que nos enfrentamos (máquinas adoptando decisiones automatizadas discrecionales que deben implicar empatía y afectan a derechos de humanos).
El Código de conducta ética para los ingenieros en robótica anexo a la Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)) incorpora entre otros el principio de precaución. En virtud de este principio de precaución social, seríamos partidarios de establecer, como decimos, un principio de reserva legal de ejercicio de potestades discrecionales en favor de seres humanos, en paralelismo con el art. 9 del Estatuto Básico del Empleado Público, que exige en la actualidad que sean funcionarios lo que ejerzan las potestades administrativas, no privados, para garantizar la objetividad e imparcialidad, y por tanto la buena administración.
Dicha reserva, en el ámbito de la IA debería referirse sólo al ejercicio de potestades discrecionales o de potestades conteniendo conceptos jurídicos indeterminados valorativos (no afectando, pues, ni a actos de trámite, salvo informes vinculantes, ni a potestades regladas, donde sí existiría el derecho a intervención humana propio del art. 22 del Reglamento mencionado). Garantizaría así algo distinto y complementario el ejercicio humano de empatía en la diligente ponderación de hechos, derechos e intereses en que consiste la buena administración de potestades discrecionales.
En Alemania en la actualidad, el 35a Verwaltungsverfahrensgesetz (Ley de procedimiento administrativo) señala que: “Un acto administrativo puede ser adoptado íntegramente por órganos automáticos, siempre que la ley lo permita y que no haya discreción ni margen de apreciación”.
En el ámbito de la Unión Europea, el art. 22 del Reglamento General de Protección de datos reconoce el derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en un interesado o le afecte significativamente de modo similar, salvo en determinados casos, así cuando una ley nacional prevea la posibilidad de una decisión totalmente automatizada. En esos casos, el responsable del tratamiento adoptará las medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado, como mínimo el derecho a obtener intervención humana por parte del responsable, a expresar su punto de vista y a impugnar la decisión.
La ley catalana 26/2010, de 3 de agosto, de régimen jurídico y de procedimiento de las administraciones públicas de Cataluña, cuando en su art. 44.2 señala que “Sólo son susceptibles de actuación administrativa automatizada los actos que puedan adoptarse con una programación basada en criterios y parámetros objetivos”.
Fuente: https://unsplash.com/photos/0yLmwcXLwLw
La prohibición de decisiones finales discrecionales totalmente automatizadas por la que abogamos debería incluirse, en nuestra opinión, en una regulación común estatal, (la ley de procedimiento administrativo común podría ser la sede adecuada). En la misma, si se quisiera suavizar la prohibición, podría preverse que sólo excepcionalmente y por ley posterior aprobada por nuestros representantes, que evaluara adecuadamente ex ante los costes y beneficios en cada momento histórico, podría autorizarse la toma de decisiones discrecionales totalmente automatizadas (reserva de ley formal, como la contenida, por cierto, en el art. 1.2 de la ley 39/2015, del procedimiento administrativo común, para imponer para nuevos trámites procedimentales, considerada respetuosa con la capacidad de autoorganización de las AAPP y la distribución competencial por la STC 55/2018).
Lo subjetivo, que no libre para el decisor público ni indiferente para el Derecho, es la esencia de la ponderación discrecional, que debe dar lugar a una buena administración humana.
Podríamos decir, reformulando así la conocida frase de John Adams, y recordando la de otro jurista norteamericano relevante, destacado representante del realismo jurídico, Llewllyn, con la que iniciábamos esta nota, que nos merecemos un gobierno de leyes, hechas y aplicadas por seres humanos compasivos cuando implican discrecionalidad, no de máquinas, si bien éstas pueden ayudar a los humanos a decidir mejor.
Doctor en Derecho, autor de más de 100 publicaciones entre monografías y artículos en diversos países.
Dirige el Seminario de Derecho Local de la Federación de Municipios de Cataluña. Ha sido director de la Escuela de Administración Pública de Cataluña, vicedecano en la Facultad de Derecho de la Universidad de Barcelona y director del instituto de investigación transdisciplinar de la Universidad de Barcelona TransJus. Dirige en la actualidad la red de investigación Nudging aplicado a la Mejora de la Regulación – red temática de investigación transdisciplinar (rednmr.wordpress.com).
