La propuesta de Reglamento de Inteligencia artificial de la UE y el sector público

Lorenzo Cotino Hueso
Catedrático de Derecho Constitucional, Universidad de Valencia. Director de Privacidad y derechos de OdiseIA, Director del Observatorio

Contenido:

• Algunos elementos generales de la propuesta de Reglamento del por el que se establecen normas armonizadas sobre la Inteligencia Artificial (PRAI)
• La prohibición de usos de IA inaceptables
• El sector público concentra los sistemas de alto riesgo de IA (SARIA)
• Requisitos y obligaciones que se imponen a los SARIA

Algunos elementos generales de la propuesta de Reglamento del por el que se establecen normas armonizadas sobre la Inteligencia Artificial (PRAI)

La Comisión europea presentó el 21 de abril de 2021 su propuesta de Reglamento del por el que se establecen normas armonizadas sobre la Inteligencia Artificial (PRAI). La misma surge de una importante trayectoria de la UE en la materia en los últimos cinco años que en otro lugar he tenido ocasión de analizar. LA PRAI ha venido acompañada desde la Comisión de algunos documentos de todo interés como el Estudio de impacto y el Estudio de apoyo al mismo. Asimismo cabe seguir el interesante Dictamen conjunto 5/2021 del Comité Europeo de Protección de Datos con el Supervisor Europeo de Protección de Datos de 18 de junio sobre la propuesta.

La acción desde la UE en materia de inteligencia artificial ha sido muy intensa. Y hay que tener especialmente en cuenta el Libro Blanco sobre la inteligencia artificial de febrero de 2020 y del Parlamento Europeo en octubre 2020 se dieron dos recomendaciones con propuestas de regulación de IA y ética. También el Parlamento UE abordó dos temas que no toca la PRAI, de todo interés: responsabilidad civil e IA y propiedad intelectual e IA.

Con varios colegas, he tenido ocasión de llevar a cabo uno de los primeros análisis en español sobre la PRAI de mayor profundidad al cual me remido.

En esta aproximación general cabe partir de que el objeto del RAI es establecer “normas armonizadas para la comercialización, la puesta en servicio y el uso de sistemas de inteligencia artificial” y, en esencia, se regulan prohibiciones y requisitos específicos para los sistemas de IA de alto riesgo y obligaciones para los operadores de dichos sistemas. Se trata de un reglamento pensado para desarrolladores, fabricantes y usuarios de la IA. Sin embargo, los afectados por los sistemas de IA no son mencionados en ninguna ocasión, ni tampoco posibles mecanismos de garantía o tutela de sus derechos. Se puede pensar que eso sería materia del Reglamento de protección de datos (RGDP). Y en este punto hay que subrayar que la PRAI ignora totalmente la existencia del RGPD con el cual se está condenado a entenderse de modo integrada.

Fuente: https://unsplash.com/photos/wVqC9dty3VQ

Cabe destacar que el ámbito de aplicación del RAI viene a emular el artículo 3 RGPD e implica una apuesta decidida de la UE por ser un referente mundial en un diseño ético y de derechos fundamentales de la IA al tiempo de exigir a los líderes mundiales de IA que respeten los derechos al dirigir sus productos en la UE.

La prohibición de usos de IA inaceptables del artículo 5. Sin duda alguna esta lista habrá de definirse mejor e incorporar otros usos inaceptables, que ahora no están o pasan por ser de “alto riesgo”. Asimismo, deberían hacerse referencias concretas al uso de la IA militar, armamento y algunos supuestos vinculados con el uso de neurotecnologías. La PRAI parte de la prohibición de sistemas de IA que desplieguen técnicas subliminales más allá de la conciencia de las personas y que puedan modificar su comportamiento de forma que pueda causar daños (art. 5.1.a), así como los que exploten vulnerabilidades de colectivos (edad, discapacidad física o mental, art. 5.1.b). Asimismo, de especial interés para el sector público, se prohíbe el uso de estos sistemas de crédito social por las autoridades públicas o grandes tecnológicas en connivencia con el Estado (“o en su nombre”). Será de interés precisar el ámbito de la prohibición, en especial la prohibición de la IA para la evaluación social para tratos perjudiciales  “en contextos sociales que no guardan relación con los contextos en los que se generaron o recogieron originalmente los datos”. Además, habría de perfilarse y extender la prohibición a ciertos sujetos privados. La prohibición que ya está resultando más polémica es la de sistemas de identificación biométrica. Y ello porque sólo se prohibiría la que se practica a distancia en tiempo real en espacios de acceso público y con fines policiales (art. 5.1.d). Con ello parecen darse por buena otras vías de identificación biométrica con IA que sólo serían de alto riesgo. El CEPD o el mismo Parlamento de la UE en junio u octubre van claramente en la línea de ampliar la prohibición de estos sistemas de IA. Pero es más, la actual prohibición de la PRAI queda muy descafeinada pues se prevé la permisión legal para prácticamente todo supuesto de necesidad por seguridad o persecución criminal.

El sector público concentra los sistemas de alto riesgo de IA (SARIA)

La PRAI sigue un muy acertado enfoque de riesgos. Según se ha dicho, los usos de IA que implican un riesgo inaceptable están prohibidos, mientras que el grueso de la propuesta de reglamento define los sistemas de alto riesgo de IA (SARIA) y deja claras las obligaciones preventivas para que no generen daños. De este modo la UE pretende garantizar derechos y seguridad al tiempo de no limitar ni obstaculizar el desarrollo tecnológico.

Se consideran sistemas de IA de alto riesgo los que son usados como componentes de seguridad en los que la regulación de la UE ya exige evaluación de conformidad. Además de éstos, y por lo que ahora más interesa el anexo III delimita usos de alto riesgo en los el sector público está especialmente implicado. Así, además del uso de la IA en la identificación biométrica a distancia "en tiempo real", también es de alto riesgo el uso de IA en el acceso y admisión centros educativos, en el ámbito laboral -también en el sector público-, uso para la contratación, finalización, tareas y control, rendimiento y el comportamiento. También es de alto riesgo el uso para la concesión, reducción, revocación o reclamación prestaciones y servicios de asistencia pública, así como en los sistemas de IA para la prioridad  respuesta de emergencia, incluidos los bomberos y la ayuda médica.

Mayor sensibilidad presentan los usos de alto riesgo vinculados al ámbito policial y criminal así como judicial. No en vano vemos por primera vez una norma que parece legitimar muchos supuestos que hoy día directamente estarían prohibidos o carecen de cobertura legal. La PRAI afirma como uso de alto riesgo la IA para “evaluaciones de riesgo individuales de delinquir o reincidir”, el uso policial de “polígrafos, estado emocional, fiabilidad de las pruebas”, para “predecir personalidad o del comportamiento delictivo anterior”, el “análisis de la delincuencia grandes conjuntos de datos complejos”, la “gestión de la migración, el asilo y el control de fronteras” así como, directamente “asistir a una autoridad judicial en la investigación e interpretación de los hechos y el derecho y en su aplicación”.

Pues bien, hay que llamar la atención de que este RAI -de aprobarse- podría entenderse como norma con valor de ley europea -o española- exigida constitucionalmente para limitar derecho de protección de datos, también en términos del artículo 9 RGPD (o en general el art. 6). Pues bien, el CEPD ha advertido en su Dictamen de junio que el uso de la IA en el ámbito de la policía y las fuerzas del orden requiere normas específicas para cada ámbito más allá del RAI. Y además y por cuanto al fondo considera que especialmente los usos penales y policiales afectan la esencia del derecho a la dignidad humana y directamente deben prohibirse.

Quiero llamar también la atención de que la PRAI no limita su regulación de alto riesgo a los supuestos de los usos de IA exclusivamente automatizados, ni siquiera a los que manejan datos personales. De ahí que hay que despejar el equívoco de una regulación vinculada al artículo 22 del RGPD y limitada a los supuestos en los que la actuación administrativa es únicamente inteligente o automatizada, es decir, que todas las obligaciones y garantías se evaporen por el único hecho de que el sistema de IA sólo propone y el humano, teóricamente dispone. Hay que evitar la huida del Derecho que ya hemos tenido ocasión de analizar aquí.

Requisitos y obligaciones que se imponen a los SARIA

Pues bien, no pocos usos de la IA de alto riesgo serán del ámbito de lo público. La PRAI establece los requisitos legales para los sistemas de IA de alto riesgo en relación con los datos y la gobernanza de los mismos, la documentación y el mantenimiento de registros, la transparencia y el suministro de información a los usuarios, la supervisión humana, la solidez, la precisión y la seguridad.

No es posible extenderse ahora en esta regulación que, aunque es prolija y extensa, es bastante más indefinida de lo que pueda pensarse. Es por ello que una vez en vigor el RAI sin duda que adquirirían mucha importancia las normas, actos de ejecución y delegación a la Comisión, las especificaciones comunes y criterios específicos (art. 41) y el papel de regulador del futuro Comité y autoridades nacionales de IA. Por cuanto a tales autoridades nacionales (art. 59) no se menciona la independencia de las mismas, aunque sí su “objetividad e imparcialidad” y la suficiencia de medios. Falta también definir las potestades de supervisión o la necesidad de garantizar una cooperación formal de las autoridades de control a través de un mecanismo de coherencia del Reglamento similar al que ya establece el RGPD.

La gestión de la calidad de los datos y la gobernanza es sin duda uno de los retos más importantes para el sector público y la PRAI incluye mandatos importantes. La propuesta incluye la obligación de documentación técnica para poder comercializar los SARIA (art. 11 y Anexo IV) y que se ha de facilitar usuario adquirente del sistema o servicio de IA. Como responsable de protección de datos que es el usuario esta documentación puede ser esencial para que pueda cumplir sus obligaciones. En esta línea también es muy relevante la obligatoriedad de un registro automático de eventos ("logs") que puede ser imprescindible para auditorías, explicabilidad y trazabilidad de las decisiones del sistema. Llama la atención que la PRAI no introduce prácticamente ninguna exigencia en relación con las Directrices éticas para una IA fiable de 2019. La propuesta impone obligaciones también en materia de supervisión humana (art. 14)  y exigencias de precisión, robustez y ciberseguridad (art. 15 PRAI). Con ser importantes, deberían precisarse algo más. De hecho, sin duda que va a ser necesaria una conexión con la normativa de ciberseguridad especialmente del ámbito público (ENS así como transposición de la Directiva NIS), así como con estándares reconocidos internacionalmente.

Fuente: https://unsplash.com/photos/sbVu5zitZt0

Los SARIA quedan sometidos a un procedimiento de evaluación de conformidad. El mismo genera algunas dudas (art. 19) y máxime en su proyección para el sector público. Igualmente destaca la creación de una base de datos de la UE de SARIA (art. 60), en el que hay que registrarse antes de su puesta en funcionamiento o comercialización. Esta obligatoriedad que también habrá de ser para el sector público recuerda a la desaparecida obligación en España del registro de tratamientos de datos.

Dada la generalización de “sistemas de IA destinados a interactuar con personas físicas” (art. 52) en el sector público, también tiene interés la obligación de informar a los afectados al respecto de los mismos.

En fin, son muchos los aspectos de interés para el sector público sobre los que cabría también profundizar. Como las “medidas de apoyo a la innovación” y los "sandboxes" regulatorios, o el papel que corresponderá de impulso de códigos de conducta y mecanismos autorregulatorios respecto de los sistemas que no son de alto riesgo. Cabe recordar al respecto de los sistemas de IA que no son de riesgo que, aunque no tendrían obligaciones en razón del RAI, sí que quedarían sujetos a las muchas obligaciones que del RGPD siempre que impliquen un tratamiento de datos personales. Habrá que estar atentos al proceso regulatorio que tendría que ir paralelo con un avance en la regulación del uso público de IA que es hoy por hoy muy deficiente en España.

Catedrático de Derecho Constitucional de la Universitat de Valencia (4 sexenios Aneca), Magistrado del TSJ Comunidad Valenciana 2000-2019, vocal Consejo de Transparencia C. Valenciana desde 2015. Doctor y licenciado en Derecho (U. Valencia), Máster en Derechos Fundamentales (ESADE, Barcelona), Licenciado y Diplomado de Estudios Avanzados de Ciencias políticas (UNED). Director de privacidad y derechos de OdiseIA. www.cotino.es