Impacto de la transformación digital de la administración en la ciudadanía: amplificación de la desigualdad social

Carmen Montalbá Ocaña
Pfra. Contratada Doctor.
Dpto.Trabajo Social. Facultad de Ciencias Sociales. UV.
Grupo IPRODES

En la implantación de cualquier tecnología existen impactos positivos o negativos funcionales a intereses y contextos. Lo que debe ser motivo de preocupación es la ausencia de control social sobre estos desarrollos, la falta de democratización de la tecnología, sobre todo en el sector público, y su afectación a los colectivos más frágiles.

De la misma manera que nos resulta impensable que el desarrollo farmacéutico de un medicamento opere sin las oportunas validaciones y pruebas para evitar posibles efectos perversos. Debiera parecernos peligroso el desarrollo de sistemas de inteligencia artificial que operan en escenarios donde median derechos sociales, y civiles básicos (salud, justicia, seguridad o protección social) sin las oportunas auditorías en términos de impacto social.

La Inteligencia Artificial aparece como la nueva herramienta que permite anticiparse a nuestras necesidades, predecir nuestro comportamiento, mejorar procesos de toma de decisiones, etc. Se ha avanzado desarrollando sistemas automatizados de selección, algoritmos de clasificación y los modelos de riesgo predictivo que identifican: qué personas controlar, qué personas deben obtener recursos/prestaciones, que personas seleccionar (en sistemas de empleo o formación) , quién debe ser investigado por fraude o a quién retirarle una ayuda.

Fuente: https://unsplash.com/photos/yyMJNPgQ-X8

Estos desarrollos no son neutros, y no debemos acogerlos con un tecnoentusiasmo ciego cuando median en el acceso a derechos. Reconocer el carácter político de la tecnología implica reconocer que cualquier sistema técnico responde a un para qué (interés) fijado por unos actores en un escenario de desigual poder/es. Por tanto, la tecnología opera como un dispositivo del poder.

En este sentido, nos debemos plantear algunas prevenciones básicas porque aún estamos a tiempo de controlar estos desarrollos, en lugar de ser controlados por ellos. A continuación, se identifican algunas de estas señales sobre las que estar alerta y emprender acciones:

• Administración encriptada. El lenguaje burocrático ya es una barrera que distancia a la ciudadanía de la comprensión sobre aspectos básicos que atañen a su vida. Si a ésta se le añade el procesamiento digital, y de manera más sofisticada la IA, el nivel de opacidad aumenta y, con ello, la indefensión ciudadana. La Administración electrónica opera como una caja negra: ¿cómo conocer el diseño de un algoritmo que actúa sobre mis posibilidades de recibir un bono social?, por ejemplo.

• ¿Qué servicio y qué sector público protege mis derechos con garantías? Debemos realizarnos estas preguntas cuando gran parte de los sistemas digitalizados de la administración operan en manos de empresas y no de funcionarios públicos. Empresas que trabajan con los datos personales de la ciudadanía, la administración desconoce el código fuente y se diseñan procesos que afectan a derechos básicos. En la medida que aumenten la delegación de estas funciones en compañías cuyo interés es lógicamente particular/privado, los conflictos pueden estar servidos y el sector público puede verse capturado en muchas decisiones por falta del conocimiento y el control necesario. Resulta necesario apropiarse del desarrollo tecnológico y existe un debate al respecto de cómo debe intervenir en la administración la tecnología de código abierto, y la necesidad de dotarse de medios y de personal suficiente para dar garantías y seguridad a la ciudadanía.

• Radicalización de las estrategias de control y punitivas sobre la ciudadanía. Las disciplinas que operan en la intervención social han desarrollado históricamente una tecnología de selección y clasificación entre merecedores y no merecedores de ayudas, procesos complejos, amparados por la norma y la burocracia. Pero como plantea Eubanks las nuevas tecnologías del big data lo que vienen es amplificar estas estrategias: “el nuevo régimen de análisis de datos es más una evolución que una revolución. Es simplemente una expansión y continuación de las estrategias moralistas y punitivas de gestión de la pobreza que han estado con nosotros desde la década de 1820”. Además, de neutralizar sus efectos y favorecer cierta violencia simbólica.

• Efectos sobre el incremento de la estigmatización: machismo, clasismo y racismo institucionalizados. Como plantea Eubanks (2018) la mayoría de las personas son objeto de escrutinio digital como miembros de grupos sociales, no como individuos. La información que se obtiene opera como efecto pigmalion, por ejemplo, si se quieren establecer predictores de delitos por distritos barriales el algoritmo pone la atención sobre las zonas que ya disponen de altas tasas de delitos, y promueve el incremento de detenciones en las mismas, y la asociación a determinados colectivos (p.e. población afrodescendiente) con la mayor probabilidad de riesgo. Esta asociación si opera en el plano de la intervención profesional mediada por seres humanos la asociamos con prejuicios raciales, es denunciada por asociaciones y movimientos civiles, pero a la tecnología le adscribimos un halo de neutralidad. De esta manera, el sesgo algorítmico actúa con una mayor impunidad.

• Deshumanización de la atención social. Sin entrar en desarrollos tecnológicos sofisticados, sólo echar una mirada a la experiencia reciente de la pandemia y la atención que desde los servicios públicos se ha debido prestar desde la atención telefónica, chats, bots, emails, etc. Hemos podido comprobar como la burorepresión opera con mucha más fuerza. La ciudadanía dispone de un tiempo limitado de interacción, la comunicación se ve amputada de niveles necesarios en la intervención social como la comunicación no verbal tan necesaria en la expresión de emociones, etc.

En las profesiones donde la principal herramienta es la escucha, y la presencia entendida en un sentido complejo, esta mediación tecnológica tiene graves efectos. Favorece la cosificación del otro, y entiende la ayuda como trámite: demanda – asignación de recurso, en virtud al procedimiento administrativo que se convierte en el gran y único protagonista. Este hecho ha sido ampliamente denunciado y criticado desde el interno de las disciplinas que entendemos la relación de ayuda profesional desde un enfoque de derechos y una ética del cuidado (Gilligan) como imprescindibles para lograr la superación de malestares sociales, y potenciar la condición de sujetos de personas que vienen dañadas por el sistema. Sin embargo, en este contexto la anomización aumenta, se radicaliza la desinhibición del profesional, la distancia emocional, la cosificación en el tratamiento del otro, etc.

• Datacracia. La pérdida de valor cualitativo de información, el valor de la escucha, es una pérdida de democracia. Las predicciones basadas en algoritmos centran la interpretación de la realidad social en el cómo sucederán las cosas y no en el por qué suceden

Propuesta

Resulta necesario reflexionar y actuar en torno a qué tecnología podemos promover y sostener desde la administración pública, con los recursos, financiación y saber necesarios, para que preserve valores de lo público y con las garantías de servicio a la ciudadanía.

Profesora Contratada Doctor.
Dpto.Trabajo Social. Facultad de Ciencias Sociales. UV.
Grupo IPRODES