Utilización de algoritmos predictivos por las Administraciones Públicas
Alejandro Huergo Lora
Catedrático de Derecho Administrativo
Universidad de Oviedo
Cuando hablamos de “inteligencia artificial” hablamos, sobre todo, de algoritmos predictivos o predicciones algorítmicas, o, dicho de otro modo, predicciones basadas en datos. En pocas palabras, procedimientos matemáticos muy complejos, basados en un tipo de algoritmos, que intentan predecir hechos futuros a partir del análisis de datos del pasado. Por ejemplo, analizamos las infracciones laborales detectadas en los últimos 5 años para aislar síntomas de que se está cometiendo una infracción, es decir, que nos permitan detectar, ahora mismo, dónde se pueden estar cometiendo. En cierto modo, y para acercarnos a categorías bien conocidas, el algoritmo funciona como un baremo, con la diferencia de que no es un baremo establecido por la Administración, sino un baremo generado automáticamente a partir de los datos pasados.
Las predicciones algorítmicas, como cualquier otra predicción, sirven para ganar eficiencia, para emplear los recursos disponibles (siempre escasos) justo donde son más necesarios o pueden ser más útiles. En el ejemplo anterior, los inspectores no actuarán al azar, sino que se dirigirán a las empresas en las que, en principio, sea más probable encontrar una infracción. No es un ejemplo inventado: el Ministerio de Trabajo tiene contratado, desde hace años, un servicio de “consultoría estratégica en la lucha contra el fraude” que consiste precisamente en eso, en una herramienta informática que señala los lugares en que debería concentrarse la inspección, porque parece más probable encontrar sanciones.
En el fondo, es lo mismo que se hace en el sector privado, que es donde han surgido y se han desarrollado estas técnicas. Por ejemplo, la publicidad tradicional se dirigía a todos los lectores o espectadores del medio en que se insertaba, mientras que los servicios publicitarios de empresas como Google o Facebook conocen las preferencias de los usuarios de internet y canalizan la publicidad a quienes pueden estar interesados en comprar el producto, e incluso personalizan el mensaje publicitario para adaptarlo a sus preferencias e incrementar su capacidad de convicción. También se pueden utilizar algoritmos predictivos para adaptar el precio del producto o servicio a las características del usuario, de forma que se pueda cobrar a cada uno, por el mismo producto, el precio más alto al que estaría dispuesto a comprar. Todo ello sirve, obviamente, para ganar eficiencia y maximizar los beneficios.
En principio, cuando la Administración utiliza algoritmos predictivos lo hace para ser más eficaz en el cumplimiento de sus fines, y eso no debería causar ninguna preocupación, porque está sometida al principio de eficacia en virtud del artículo 103.1 de la Constitución. Sin embargo, existen una serie de dudas, derivadas, en buena medida, de distintas debilidades intrínsecas a las predicciones algorítmicas, que en general son sobradamente conocidas, como el riesgo de que las predicciones tengan sesgos, es decir, que no sólo estén equivocadas, sino que la equivocación perjudique precisamente a personas pertenecientes a colectivos tradicionalmente discriminados (mujeres, minorías raciales, etc.).
En la medida en que los datos son la “materia prima” de las predicciones algorítmicas, es necesario cumplir la legislación de protección de datos. Ésta, sin embargo, no constituye un freno significativo, porque los datos pasados que se utilizan para “entrenar” a los algoritmos y elaborar las predicciones del futuro, son datos anonimizados y, por tanto, excluidos, básicamente, de la normativa de protección de datos. Si, por ejemplo, queremos identificar patrones que nos permitan predecir qué alumnos se encuentran en riesgo de fracaso escolar (para poder dirigirles una atención especial), elaboramos un modelo a base de analizar miles de casos anteriores de fracaso escolar, para identificar los factores que aparecen más frecuentemente en ellos y poder buscarlos en los alumnos de ahora y así encontrar los que necesitan más ayuda. Pero no necesitamos saber el nombre y apellidos de esos alumnos antiguos, sólo sus características, por lo que se trata de datos anonimizados. En cuanto a las personas a las que se aplica el algoritmo, es decir, los alumnos actuales de entre los que intentamos identificar a los más necesitados de ayuda, se utilizan sus datos, evidentemente, pero son datos que suministran a la Administración o a los que ésta tiene acceso, y que puede utilizar legítimamente para la mejor realización de la función educativa. En general, una adecuada regulación de la cesión de datos entre Administraciones Públicas soluciona los principales problemas. En los últimos años se han planteado importantes debates sobre la cesión de datos tributarios o sobre la cesión para el uso de los datos en procedimientos sancionadores, pero aquí se plantean otras cuestiones. No olvidemos, en todo caso, que el artículo 155 de la Ley 40/2015, de Régimen Jurídico del Sector Público, fue modificado por el Real Decreto-ley 14/2019 en términos que lo amplían mucho y que no sólo permiten, sino que obligan a efectuar esa cesión, sin necesidad de que esté prevista en una Ley, y sin necesidad tampoco de consentimiento del titular de los datos, siempre que la finalidad con que se pretenden tratar “no sea incompatible” con la finalidad para la que fueron recogidos inicialmente. Por otro lado, en muchos casos los propios titulares de los datos los divulgan voluntariamente, por ejemplo, en redes sociales.
Al margen de la protección de datos, ¿cuál sería el marco jurídico de la utilización de predicciones algorítmicas? En la práctica todavía no tenemos normas que la regulen (aunque se apunta su aprobación a medio plazo, especialmente a nivel europeo), pero eso no ha impedido a las Administraciones dotarse de esas predicciones y utilizarlas, como hemos visto con algún ejemplo.
La primera regla sería no sustituir la comprobación y acreditación de hechos por una predicción. Las Administraciones están sometidas a la legalidad, que programa su actuación, estableciendo, con mayor o menor precisión, cuál es el supuesto de hecho en el que pueden o deben actuar y también el contenido de la decisión que pueden adoptar. Por ejemplo, sólo se puede imponer una sanción cuando se haya constatado la comisión de una infracción. Pues bien, no podemos considerar acreditado el supuesto de hecho sólo porque haya una predicción algorítmica que nos diga que es muy verosímil que se produzca o se haya producido. Dicho de otro modo, las decisiones administrativas tienen que poder justificarse en el cumplimiento de los requisitos establecidos en la normativa que las regule, no en los resultados de un algoritmo.
De todas formas, hay decisiones administrativas cuyo supuesto de hecho es, precisamente, un pronóstico o una predicción. Por ejemplo, las zonas con riesgo de inundación deben clasificarse como suelo no urbanizable. Un edificio que se encuentra en riesgo de derrumbe debe ser declarado en ruina y, en todo caso, se acordará su desalojo y apuntalamiento inmediatos. Una fusión empresarial es autorizada, o no, en función de una previsión acerca de sus efectos sobre la competencia. Las predicciones se basan en juicios técnicos (de tipo arquitectónico, meteorológico, económico, etc.) y en estos casos se pueden utilizar también predicciones algorítmicas. Obviamente, en caso de impugnación o recurso estarán sujetas a la crítica y a la posibilidad de que se pruebe su falta de fundamento, y la Administración deberá proporcionar toda la información sobre la forma en que se ha llegado a la predicción, como sobre cualquier otro elemento que haya contribuido de forma relevante a la resolución final. En nuestro ordenamiento jurídico se utilizan predicciones algorítmicas como un elemento más para la concesión de permisos penitenciarios (predicciones sobre el riesgo de reincidencia de los reclusos) y los tribunales las han dado por buenas porque no constituyen el criterio único de la concesión o denegación del permiso, sino que se trata de un elemento de juicio junto a otros.
En realidad, lo más habitual es que las predicciones algorítmicas se utilicen para decidir la iniciación de procedimientos administrativos, es decir, para identificar supuestos en los que puede ser necesario que la Administración intervenga, en unas ocasiones para limitar o castigar (señalando objetivos para la inspección) y en otras para asistir o proteger (de lo que ya he puesto algunos ejemplos). Uno de los escasos debates jurídicos que se han planteado en relación con el uso de predicciones algorítmicas gira precisamente en torno a esta cuestión. La Administración viene actuando como si esa fase previa a la iniciación del procedimiento careciera de relevancia jurídica. De hecho, la iniciación del procedimiento se considera un típico ejemplo de acto de trámite no recurrible (salvo que incorpore la adopción de medidas cautelares), debido a que se entiende que por sí sola no produce efectos jurídicos relevantes para el ciudadano. La selección de los objetivos que se inspeccionan no ha sido objeto de control jurídico; de hecho, incluso allí donde se aprueban planes de inspección, su eventual incumplimiento (es decir, el hecho de que se investigue a alguien que no figure entre los grupos incluidos en el plan de inspección) no es motivo para anular la sanción que eventualmente se le imponga, como ha dicho recientemente el Tribunal Supremo. En ese contexto, no es de extrañar que la Administración contrate servicios de “consultoría estratégica” que le suministren predicciones algorítmicas que le ayuden a seleccionar objetivos, y que ello se haga “bajo el radar”, es decir, sin que deje huellas en el procedimiento administrativo que eventualmente se inicie.
En este punto entra en juego el artículo 22 del Reglamento General de Protección de Datos, que se refiere a las decisiones totalmente automatizadas que producen “efectos jurídicos” en el interesado o le afecten “significativamente de modo similar”, y las prohíbe salvo que se cumplan una serie de garantías que hasta ahora no se respetan, porque entre otras cosas habilitación normativa comunicar a sus destinatarios el hecho de que se trata de una decisión totalmente automatizada y las garantías frente a ella. Es una norma importante, de contenido más concreto y menos “principial” que muchas otras del RGPD, y que ha sido tenida en cuenta por un tribunal de La Haya en el asunto SYRI (sentencia de 5 de febrero de 2020) para declarar incompatible con el Convenio Europeo de Derechos Humanos un sistema de predicciones algorítmicas para la detección de posibles casos de fraude similar a los que estamos analizando.
Tener en cuenta sólo las decisiones “totalmente automatizadas” es una limitación importante, porque deja fuera muchos casos (seguramente la mayoría), en los que la predicción algorítmica es sólo un elemento de juicio que se proporciona a la Administración. Pero la clave seguramente es la interpretación del requisito de que la decisión “produzca efectos jurídicos” en el interesado “o le afecte significativamente de modo similar”. Seguramente nuestra jurisprudencia tenderá a sostener que la iniciación del procedimiento no produce efectos jurídicos (en el sentido que prevé esta norma), pero el tribunal neerlandés del caso SYRI ha dicho que sí. La propuesta normativa aprobada en octubre de 2020 por el Parlamento Europeo se aplica, en términos similares, [sólo] a “decisiones del poder público que tienen un impacto significativo y directo en los derechos y obligaciones de personas físicas o jurídicas”, de modo que nos enfrentamos al mismo debate. Otra sentencia del TS, de 1 de octubre de 2020 (recurso de casación 2966/2019), ha establecido un listón relativamente alto, no para la iniciación de procedimientos de inspección, pero sí que se autorice en tales procedimientos la entrada en un domicilio, señalando que “[n]o pueden servir de base, para autorizar la entrada, los datos o informaciones generales o indefinidos procedentes de estadísticas, cálculos o, en general, de la comparación de la situación supuesta del titular del domicilio con la de otros indeterminados contribuyentes o grupos de estos, o con la media de sectores de actividad en todo el territorio nacional, sin especificación o segmentación detallada alguna que avale la seriedad de tales fuentes”. Este fragmento de la doctrina establecida en la sentencia (no poco ambiguo, por lo demás) seguramente plantea el interrogante de en qué medida una predicción algorítmica puede superar ese test y ser suficiente para obtener la autorización judicial.
Un aspecto muy importante de las predicciones algorítmicas es que en muchos casos es difícil comprobar su acierto y pueden convertirse en profecías autocumplidas. Si la Agencia Tributaria utiliza un algoritmo para señalar objetivos a la inspección en una provincia, mientras que en otra no lo hace, podemos comprobar los resultados y ver si el algoritmo hace que se descubran más supuestos de fraude (incrementando la eficiencia de la inspección) o en realidad su grado de acierto es similar al de los inspectores actuando en función de su “ojo crítico”. Pero, si se aplica a toda la actividad inspectora, es imposible comprobar el acierto. Y, en este caso, lo peor es que se descubrirán más fraudes donde más se inspecciona, consolidando la imagen de que esos sectores son más propensos al fraude, por lo que cada vez serán más inspeccionados, en una especie de círculo vicioso. Por ello es necesario que las predicciones estén “abiertas” y que tengan límites temporales para evitar este efecto de “profecía autocumplida”.
Las predicciones algorítmicas han florecido en el sector privado, sometido a principios jurídicos totalmente diferentes de los que se aplican a la Administración, entre los que destaca el principio de legalidad. Aunque es razonable que la Administración pueda aprovechar también sus ventajas, es necesaria una adaptación jurídica de la que estamos todavía en los primeros pasos. Estas y otras cuestiones se abordan con más profundidad en los distintos trabajos del libro La regulación de los algoritmos, al que remito a los lectores.
