Garantías frente a la huida del Derecho administrativo del uso de inteligencia artificial en el sector público

Lorenzo Cotino Hueso
Catedrático de Derecho Constitucional Universidad de Valencia
Director del Observatorio PAGODA (Transformación Digital Sector Público)
Director Privacidad OdiseIA.

Usos y tipos de inteligencia artificial en el sector público más o menos relevantes que requieren aproximaciones y régimen jurídico y garantías diferentes

El uso de inteligencia artificial, algoritmo, perfilados y sistemas automatizados de tratamiento de big data y otras tecnologías disruptivas conexas se perfila como uno de los elementos de la transformación digital del sector público. Sobre el tema nos hemos ocupado desde la Red DAIA (Derecho Administrativo de la Inteligencia Artificial) desde 2019 así como en diversos estudios quien suscribe. Son diversas las garantías ya existentes en nuestro Derecho, así como las que parece que se pueden deducir de los derechos fundamentales y principios en juego o las que se van perfilando. Como hemos afirmado en las Conclusiones de Toledo de 1 de abril,  “la prioridad debería centrarse en el establecimiento de un procedimiento administrativo debido con las garantías adecuadas, en el que, junto con las garantías jurídicas ya existentes y aplicables (protección de datos, automatización de la actuación administrativa…), se definan con precisión aquellas otras que debieran tenerse en cuenta.” (final 3ª). Se subrayó la importancia “del control y la motivación de las decisiones administrativas” (final 5º) y que “la proyección del principio de transparencia en las singularidades de esta tecnología adquiere una especial transcendencia […] a) en el contexto del procedimiento de aprobación del uso del correspondiente algoritmo, b) en relación a las concretas decisiones que se adopten y c) en los procesos de control y revisión.” (Final 7ª).

Como especialmente señala Huergo (2020, 65), “ El concepto de algoritmo es demasiado amplio como para que pueda tener siempre la misma naturaleza o régimen jurídico”. No se pueden tratar de modo uniforme realidades muy diferentes entre sí. El análisis del régimen jurídico y garantías de la los usos de  IA en el sector público pasa por una necesaria taxonomía y tipificación concreta.

Ello ha de ser en la línea del Libro Blanco sobre la Inteligencia Artificial de febrero 2020. El concreto uso y especificaciones particulares han de llevar a calificar los riesgos y los impactos y afecciones concretas de los derechos en juego. Según el nivel de riesgo que se determine habrán de especificarse las garantías adecuadas y, en su caso, habrá de regularse un procedimiento de aprobación previa de la tecnología, como acaba de señalar el Parlamento Europeo en octubre 2020, un “certificado europeo de conformidad ética”.

Así, cada función, tipología y uso será el que determine el régimen jurídico adecuado. Desde la Red DAIA hemos señalado que “más allá de la conveniencia de contar con un concepto legalmente definido acerca de qué entendemos por Inteligencia Artificial, lo realmente importante es delimitar las concretas funciones y usos de la misma, en general, y de los sistemas empleados, en particular –deterministas, predictivos, prescriptivos, con aprendizaje supervisado o no, etc.– en el ámbito del sector público, estableciendo las garantías jurídicas adecuadas en función de su alcance.”

En algunos supuestos el uso del algoritmo, como señala Huergo (2020, 66 y 75) es “algo más” y requiere la autorización, a su juicio, de una norma (y la aplicación, por supuesto, de todas las garantías aplicables a las normas). Y ello se daría especialmente respecto de los algoritmos predictivos. En este caso el algoritmo sí influye sobre el contenido de la acción administrativa aunque no siempre de forma determinante. Añade un contenido “de elaboración propia”.

Tipología y usos de la inteligencia artificial y su variable relevancia e impacto jurídicos

El análisis y mapeo más importante que se ha realizado hasta la fecha del uso de la IA en el sector público a partir de 230 experiencias en diferentes países de la UE parte de la tipología de las soluciones de IA que se están utilizando, como en el propósito para el que fueron desplegadas.

Así, se hace referencia a diversas categorías los usos de IA públicos

1. IA para la aplicación de la ley, que incluiría identificar o priorizar los objetivos que requieren aplicación o inspecciones.
2. la investigación, análisis y vigilancia reglamentarios, básicamente se hace referencia a los procesos de elaboración de políticas, como la recopilación, la supervisión y el análisis de datos para aumentar la capacidad de toma de decisiones de los responsables de la elaboración de políticas y hacer que se basen más en las pruebas.
3. la IA para la adjudicación y concesión de beneficios o el derecho de los ciudadanos.
4. la IA para apoyar la prestación de servicios a los ciudadanos y las empresas o para facilitar la comunicación con el público en general y su participación.
5. Finalmente, el quinto uso sería la Gestión de la organización interna, como los recursos humanos, las adquisiciones, los sistemas de TIC u otros servicios públicos.

A priori, y a falta del detalle concreto de qué y cómo se utilizan las tecnologías y con qué efectos, la relevancia, repercusión jurídica y el posible impacto en la esfera de derechos e intereses en el individuo no son los mismos en estos usos genéricos. Muy difícilmente tales decisiones tendrán una repercusión o impacto individualizable que facilite su fiscalización jurídica. Sin embargo, su impacto colectivo o social sí que es muy relevante. No en vano, la movilización y destino de recursos económicos, administrativos, prestacionales y personales pueden quedar determinados por estos usos algorítmicos. Es por ello que aunque no se apliquen las garantías concretas que puedan derivarse de derechos en juego, considero que la regulación habrá de mayores garantías y régimen jurídico a estos usos más genéricos,. Deben darse a conocer estos sistemas, los datos que manejan y los elementos de suficiente calidad de los mismos y de los tratamientos que se efectúan. Debe incluirse a los colectivos de las sociedad civil en órganos y posiciones jurídicas cualificadas que les permitan conocer más de cerca estos tratamientos masivos de datos y acceder al conocimiento que se extrae de los mismos. No hay que excluir la regulación de estudios de impacto social o colectivo en los que se aborde el impacto no sólo en derechos subjetivos concretos bajo una perspectiva individual, sino del impacto colectivo ya sea en derechos (igualdad, educación, salud, medio ambiente, etc.) como en intereses públicos colectivos (principio democrático, justicia, competencia, progresividad fiscal, etc.)

También a priori, el uso de inteligencia artificial como chatbots para facilitar la comunicación e información, no tiene por qué revestir relevancia jurídica. Como sucede con sistemas de atención a la ciudadanía, se trata de actuaciones por lo general extraprocedimentales. No hay que excluir por ello la necesidad de una buena supervisión de los mismos en tanto en cuanto una mala información generalizada o masiva puede producir disfunciones e incluso daños también masivos.

El uso de la inteligencia artificial para la mejora de la gestión interna de la Administración puede ser muy variado, y por ello puede llegar a tener también variados efectos respecto de los terceros y en su caso puede quedar más conectado a actuaciones formales de la Administración.  No obstante, en principio se trata también de un uso en principio de menor impacto y, en consecuencia, de menores necesidades de monitorización y seguimiento.

No sucede lo mismo respecto de los usos de inteligencia artificial 1 (aplicación de la ley) y 3 (adjudicación y concesión de beneficios o el derecho). Sin perjuicio de los detalles concretos, a priori estos usos generan más impactos y posiblemente más individualizables en los derechos e intereses, no sólo de modo colectivo. Así, se puede obtener o no en razón de la inteligencia artificial una subvención, una ayuda, un contrato, etc. De igual modo, la IA puede estar excluyendo  a personas de ser investigados y sancionados por la ilegalidad o determinando a quién sí que procede investigar.

Además de estos cinco usos, desde la UE se han definido hasta 10 tipologías de la IA en los servicios públicos (2.1.1).

1. análisis predictivo, simulación y visualización de datos. Estas soluciones de IA aprenden de los grandes conjuntos de datos para identificar patrones en los datos que, en consecuencia, se utilizan para visualizar, simular o predecir nuevas configuraciones.
2. Los Sistemas expertos y basados en reglas, toma de decisiones algorítmicas, los mismos se diseñan para facilitar o automatizar plenamente los procesos de toma de decisiones de posible relevancia.
3. los usos de IA  público para la gestión del conocimiento (crear una colección de descripciones de casos, textos y otros conocimientos), pues pueden ser un apoyo importante a la actividad pública.
4. reconocimiento de audio, de vídeo y de procesamiento de lenguaje natural. Así sucede con los usos de IA para detectar y reconocer el sonido, la música y otras entradas de audio, incluyendo el habla, permitiendo así el reconocimiento de las voces y la transcripción
5. También, el Procesamiento del Lenguaje Natural, Minería de Textos y Análisis del Habla: Estas aplicaciones de IA son capaces de reconocer y analizar el habla, el texto escrito y la comunicación. Y, también, el uso de IA para visión por ordenador y reconocimiento de identidad.
6. precisamente los más empleados, como son los chatbots, asistentes digitales inteligentes, agentes virtuales y sistemas de recomendación que facilitan asesoramiento genérico y recomendaciones relacionadas.
7. los usos de  IA para la robótica cognitiva, automatización de procesos y vehículos conectados y automatizados.
8. IA público  es su uso para análisis de seguridad e inteligencia de amenazas.

De esta tipología no es fácil extraer consecuencias respecto de los usos que puedan tener más relevancia jurídica  y la cuestión se hará depender del posible impacto que pueda haber en personas más o menos identificables o en derechos concretos (por ejemplo, reconocimiento de imágenes, sonido, etc.) y sobre todo la finalidad concreta en la que se integre el uso de la IA.

A partir de 230 experiencias en diferentes países de la UE, hoy por hoy  el uso de "chatbots" o asistentes digitales es la más habitual y, según lo expuesto tendría escaso impacto jurídico. Otro uso de los más habituales es la IA para proporcionar algún tipo de predicción y simulación inteligente basada en bases de datos, mediante el reconocimiento y la visualización de patrones en (grandes) datos socioeconómicos. Según lo expuesto, en la medida en la que se utilice para la adopción de políticas o decisiones colectivas, habría de sujetarse a futuras garantías de impacto y control social con participación de la sociedad civil.

La siguiente tipología más empleada es el uso de la IA  para la toma de decisiones algorítmicas y la visión por ordenador para reconocer personas, objetos u otros elementos en imágenes. En todo caso, más de la mitad de las soluciones de IA que se utilizan actualmente (127 de 230) en la UE parecen aportar únicamente cambios incrementales o técnicos al organismo, por lo que tendrían en principio menor repercusión o más indefinida en la ciudadanía.  

Las escasas garantías del artículo 41. 1º Ley 40/2015 en buena medida no alcanzan al uso público de la inteligencia artificial

Hay que analizar cada caso concreto y, como se ha dicho, la premisa imprescindible es conocer los tratamientos masivos de datos, perfilados, big data y uso de algoritmos y otras tecnologías conexas para, a partir de su conocimiento, evaluar concretamente sus posibles riesgos y garantías procedentes.

Como es sabido, desde la Ley 11/2007 ya se previeron las posibles decisiones automatizadas. Hoy quedan reguladas por el artículo 41. 1º Ley 40/2015. Sus insuficiencias son mayúsculas. De un lado, sólo establece algunas garantías previas, ciertamente escasas: “deberá establecerse previamente el órgano u órganos competentes, según los casos, para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente. Asimismo, se indicará el órgano que debe ser considerado responsable a efectos de impugnación”. Pero es que estas garantías las reserva al uso en el marco formal de procedimientos administrativos, que además ha de ser “íntegramente” automatizado y sin supervisión humana. De este modo, muchos de los posibles usos de big data e inteligencia artificial en el sector público tan siquiera quedan bajo el régimen de este precepto, puesto que se quedan en la antesala de los procedimientos administrativos y, en todo caso, no se trata de actuaciones íntegramente automatizadas.

Pero es más, pueden considerarse asimismo que el artículo 41 Ley 40/2015 no da cobertura a decisiones de inteligencia artificial que impliquen cierta autonomía del sistema respecto de sus diseñadores, lo que es propio de la noción de inteligencia artificial. En este sentido Valero Torrijos en 2007 o Martín Delgado en 2009 (pp. 368 y ss.) señalarían que el límite de las decisiones automatizadas a las que daba cobertura la ley quedaba en la capacidad de discrecionalidad y que quedaran limitadas al ámbito reglado de la potestad y por lo general en ámbito sencillos en los que el sentido de la resolución está determinado . Martin Delgado ya avanzaba la posibilidad de utilizar sistemas allí donde la discrecionalidad fuera de “baja intensidad”, lo cual quedaba en el ámbito de la discrecionalidad técnica, siempre que la libertad decisoria se concreta en criterios técnicos y no políticos (pp. 369-370). Y en consecuencia no cabe la automatización si hay “discrecionalidad política o discrecionalidad técnica no parametrizable”. Siendo la norma del procedimiento la que ha de habilitar la automatización de la actuación administrativa.

De este modo, se evidencia aún más si cabe la necesidad de dotar de una mejor cobertura legal a las decisiones automatizadas que no sean de muy escasa relevancia jurídica. Puede sostenerse que hoy día la legislación administrativa no dota de cobertura legal suficiente genérica al uso de sistemas de inteligencia artificial que tengan alguna relevancia jurídica. Y obviamente, si las actuaciones -meramente- automatizadas cuentan con alguna regulación jurídica, se deriva que habría de contar con una singular regulación -y obviamente más garantista- las actuaciones automatizadas que impliquen cierta autonomía o, según se ha señalado, que vayan más allá de una mera discrecionalidad técnica.

Como hemos afirmado, no es lo mismo una Administración asistida por algoritmos que una administración impartida por la inteligencia artificial. A mayor impacto, mayor necesidad de regulación y garantías.

La “huida” de las garantías de la protección de datos y en particular del artículo 22 RGPD

La IA atrae casi por defecto la aplicación del régimen de la protección de datos. Y en ocasiones, es casi el único régimen jurídico hoy día claramente aplicable.

Ahora bien, debe darse la premisa de que los variados macrodatos que alimentan la IA sean datos de personas identificadas o identificables, o reidentificables cuando han sido seudonimizados. En este punto es muy posible que el uso de datos en el sector público para decisiones o políticas colectivas para ámbitos como salud, educación, transporte, sostenibilidad y un largo etc. no sea de datos personales, es más, no debe ser de datos personales. Pues bien, como he señalado, deben también regularse garantías de calidad de los datos y sistemas de impacto social y participación de la sociedad civil.

Si se aplica la normativa de protección de datos al uso de la IA en el sector público hay que partir del cumplimiento de los principios, la legitimación del tratamiento, los derechos, la responsabilidad proactiva y privacidad en el diseño o el régimen de las transferencias internacionales de datos. Asimismo y por defecto se exigirá el estudio de impacto. Es importante recordar esta general obligación de cumplimiento normativo porque en modo alguno hay que limitarse al artículo 22 RGPD que regula las decisiones y perfilados automatizados.

Este artículo 22 afirma como derecho subjetivo el “derecho” a no ser sometido a decisiones automatizadas. Ciertamente más que un derecho, el artículo 22 implica un conjunto de especialidades y garantías, las cuales se superponen a las que garantiza el más general derecho fundamental y regulación de protección de datos. En cualquier caso, la clara intención de este “derecho” es que las decisiones automatizadas relevantes, por su sensibilidad o particularidad, tienen ser compensadas con garantías especiales. Entre ellas, implica particulares deberes de transparencia. Así, se da la concreta obligación de facilitar “información significativa sobre la lógica aplicada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado” (art. 13. 2º f y 14. 2º g) RGPD-UE). De igual modo, el derecho de acceso permite solicitar dicha información (artículo 15. 1º. h). Y la posibilidad de reclamación y de intervención humana significativa.

Para que estas garantías sean exigibles es necesario que se trate de una  “decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar”. De este modo, las particulares garantías no se darían para decisiones semiautomatizadas o decisiones humanas a partir de propuestas automatizadas, que parece ser lo más habitual en el sector público.

Ahora bien, el error común es pensar que si no se aplica el artículo 22 RGPD no es aplicable el resto de la normativa de protección de datos. Sin embargo, respecto de decisiones que no sean sólo automatizadas o no sean relevantes para el afectado, siempre quedará el París del régimen general de protección de datos aplicable. Que no es poco.

Sí que quedarían fuera de este derecho las decisiones si “un ser humano revisa y tiene en cuenta otros factores para tomar la decisión final”. No obstante, y esto es importante, “si alguien aplica de forma rutinaria perfiles generados automáticamente a personas sin que ello [la revisión humana] tenga influencia real alguna en el resultado, esto seguiría siendo una decisión basada únicamente en el tratamiento automatizado”. No debe obviarse que en no pocos ecosistemas administrativos hay no sólo una presunción de acierto del sistema automatizado, sino una clara tendencia a simplemente validar la decisión automatizada. Para que no rija este derecho y sus especiales garantías, la intervención humana ha de ser “significativa, en vez de ser únicamente un gesto simbólico” y llevada a cabo por “persona autorizada y competente”. Hay que señalar que el estudio de impacto que debe hacerse ha de registrar el grado de intervención humana. (Grupo Artículo 29 UE, 2018: 23).

Huida del Derecho porque ni sabemos qué usos se están dando y porque se consideran fases previas y mero apoyo de decisiones humanas. A seguir el ejemplo holandés

Las mayores o menores garantías que hoy puedan derivarse del régimen jurídico normativo y en especial de los derechos fundamentales en juego, prácticamente las garantías pueden quedar en nada. Ello es así porque uno de los mayores peligros es lo que me permito en calificar la huida del Derecho administrativo del uso de inteligencia artificial en el sector público. Con carácter previo hay que señalar que, como hemos criticado desde la Red DAIA, es especialmente difícil conocer los sistemas de IA que se están usando. Es muy posible que desde las Administraciones Públicas que los emplean ni perciban que su uso no puede ser ajeno al Derecho. Y obviamente, nadie puede tan siquiera demandar que estos usos fuera de antena puedan ser fiscalizados para comprobar su cumplimiento normativo.

Desde  la Red de Derecho Administrativo de la IA (Red DAIA) hemos criticado y mucho que no haya un mapeo de los usos de IA en el sector público, algo que afortunadamente desde Cataluña se está empezando a evitar, señalando 50 casos de uso (ACPD, 2020). De hecho, considero que en muchos casos -cuando se tratan datos identificables- sería una obligación legal difundir estos tratamientos en razón del artículo 6 bis de la Ley 19/2013, de 9 de diciembre, de transparencia, respecto del inventario de actividades de tratamiento en aplicación del artículo 31 de la Ley orgánica 8/2018. Es muy posible que administraciones punteras como tributarias, de seguridad social, la Comisión Nacional del Mercado y la Competencia  y otras estén usando sistemas automatizados y avanzados para la detección y lucha contra el fraude. Sin embargo y lamentablemente, ni lo sabemos.

La huida del Derecho a la que hago referencia sucede especialmente respecto del uso de la IA en las fases previas o de asistencia a las decisiones humanas. Se trata por lo general de casos de uso de sistemas automatizados, tratamientos de grandes datos o inteligencia artificial que se emplean para seleccionar objetivos de posible incumplimiento normativo, para señalar una potencial inspección o diligencias previas a una posible sanción u otras actuaciones. Este tipo de usos quedan fuera de la actuación formal y por ello se facilita una huida del Derecho: garantías de transparencia, respeto del derecho a una buena administración, garantías del procedimiento, etc.

Este tipo de actuaciones quedan en general bajo el régimen parco y difuso de la “información y actuaciones previas” del artículo 55 Ley 39/2015 de procedimiento. En esta fase, la luz de la transparencia es muy tenue y difícilmente alcanza ni el derecho de acceso al expediente del propio interesado (artículo 53 Ley 39/2015) ni la legislación de transparencia (Boix, 2020).

Sin embargo, la cuestión se pierde una gran opacidad y la huida del Derecho está servida. Posiblemente sea el secreto mejor guardado con la ayuda del actual ordenamiento jurídico. Los planes de control tributario son “reservados”, sin perjuicio de “que se hagan públicos los criterios generales que lo informen” (artículo 116, Ley 58/2003, de 17 de diciembre, General Tributaria). Y el carácter reservado se extiende a los medios informáticos y sistemas de selección. Así, el artículo 170.7 Real Decreto 1065/2007, de 27 de julio (reglamento general de actuaciones y procedimientos de gestión e inspección tributaria) dispone que “Los planes de inspección, los medios informáticos de tratamiento de información y los demás sistemas de selección de los obligados tributarios que vayan a ser objeto de actuaciones inspectoras tendrán carácter reservado, no serán objeto de publicidad o de comunicación ni se pondrán de manifiesto a los obligados tributarios ni a órganos ajenos a la aplicación de los tributos.” Asimismo, se trata de una fase de la actuación administrativa en buena medida inmune al control judicial. No en vano, la determinación de los obligados tributarios que vayan a ser objeto de comprobación “tiene el carácter de acto de mero trámite y no será susceptible de recurso o reclamación económico-administrativa” (art. 170.8º Real Decreto 1065/2007). Es más, la Administración tributaria ni siquiera queda vinculada por sus propios planes de inspección. Como recuerda recientemente el TS, no hay un “derecho subjetivo del contribuyente a no ser investigado si no se encuentra incluido en dichos planes y programas, pues ello supondría el incumplimiento por parte de la Administración del deber de fiscalización de que todos los ciudadanos cumplan con el deber de contribuir” sentencia 236/2020, de 19 de febrero, Recurso de casación 240/2018.

Cabe recordar a este respecto que la sentencia de 5 de febrero de 2020 del Tribunal de Distrito de la Haya (C / 09/550982 / HA ZA 18-388)xxx declara contrario al artículo 8 CEDH sistema Systeem Risicoindicatie (SyRI) (Cotino 2020). Por lo que ahora interesa, esta sentencia es muy exigente por cuanto analiza y proyecta las garantías respecto de estos tratamientos automatizados que sirven para detectar un posible positivo. En modo alguno se entendió que no se trataba de una actuación administrativa plenamente fiscalizable y respecto de la que hay que exigir el cumplimiento de las garantías, antes al contrario, el sistema implicaba un “efecto legal, o al menos una decisión que afecta significativamente a los interesados” (6.57). Éste debe ser el punto de vista de partida del legislador que debe regular estas fases.

Es por ello que en la Declaración final de Valenciana de la Red DAIA insistimos en que “3. Especialmente hay que conocer el uso de la IA en las fases previas o de asistencia a las decisiones humanas, para evitar la huida del Derecho”, así como que “debe haber una clara trazabilidad y transparencia del uso de sistemas algorítmicos en cualquier fase y tipo de actuación administrativa -formal o informal- que, entre otras cosas, permita determinar el grado real de intervención humana en la toma de decisiones.” (n. 3º).

El sistema automatizado o algoritmo sí que influye en el contenido de la posterior acción administrativa, no en vano es la premisa de la actuación y posiblemente delimita los elementos estructurales básicos de dicha actuación al detectar los patrones y pautas de la comisión de alguna irregularidad. Por decirlo de otro modo, para quien finalmente es sancionado, no es de escasa relevancia jurídica haber sido preseleccionado como posible infractor y a buen seguro considerará necesario . Es más, del contrario, no ser seleccionado y librarse de una actuación que sí que pueda corresponder, también es bien relevante y es de interés de toda la sociedad saber los criterios de selección.

En modo alguno puede liberarse de garantías y obligaciones jurídicas considerando que se trata de actuaciones sin relevancia, o meramente auxiliares o complementarias, tampoco deben considerarse meros actos de trámite y, obviamente, no se trata en ningún caso de actos meramente reglados, mecanizables y automatizables que no hubieran de tener trascendencia jurídica.

Sin embargo, hay que tener especialmente cautelas en este ámbito, puesto que ahí es donde se detecta una preocupante huida del Derecho. No hay que quitar importancia y negar relevancia jurídica a estos usos. Por el contrario, señala Huergo (2002, 77) que en la práctica, los problemas jurídicos que puede plantear la utilización de estos modelos algorítmicos han quedado en segundo plano porque no se utilizan para tomar decisiones finales, sino únicamente para dictar actos de trámite, no resoluciones. Quedarían en un segundo plano y con una “irrelevancia jurídica casi total”. Según lo expuesto, el punto de partida debe ser el contrario.

Para concluir

Pues bien, es necesario actuar en no pocas líneas para frenar las muy diversas huidas del Derecho que se han mencionado.

Cuando se considere que no hay datos personales identificables ni afección concreta a derechos o intereses legítimos, pero los tratamientos datos masivos y el uso de inteligencia artificial sirvan para apoyar decisiones públicas colectivas, deben regularse diversos mecanismos para asegurar la calidad de los datos y los tratamientos, análisis específicos de impacto social y participación de la sociedad civil. Ello bien puede integrarse en procedimientos participativos y de audiencia pública.

Debe regularse y dotar de cobertura legal los tratamientos automatizados del sector público en el marco de actuaciones más o menos procedimentales y que van más allá de la discrecionalidad técnica, que serían los propios de la inteligencia artificial y sistemas de autoaprendizaje. No hay que conformarse con mencionar que hay decisión y participación humana, sino que ha de haber garantías que permitan verificar el grado real de participación humana, además de las garantías de auditabilidad, transparencia, explicabilidad del sistema. Pero es más, deben quedar claras las garantías de transparencia y protección de datos aun en los casos en los que hay intervención humana, pero la decisión administrativa parte de una actuación automatizada y especialmente en razón del impacto de la misma en la esfera de derechos e intereses afectados.

Catedrático de Derecho Constitucional Universidad de Valencia
Director del Observatorio PAGODA (Transformación Digital Sector Público)
Director Privacidad OdiseIA.