Vicente Morell-Mengual, Universitat de València

No cal ser una persona experta en informàtica per a crear un contingut sexual fals mitjançant ferramentes d'intel·ligència artificial. Actualment només cal fer una cerca senzilla en xarxes socials o en qualsevol motor de cerca per a trobar aplicacions i tutorials on s'explica, pas a pas i amb tot luxe de detalls, com crear imatges, vídeos o àudios sexuals falsos.

La popularització de la intel·ligència artificial ha convertit el que abans era una pràctica marginal en un fenomen cada vegada més estès. Els continguts sexuals falsificats no sols danyen la reputació i la privacitat de les persones afectades, sinó que susciten interrogants sobre el control de la pròpia imatge, les noves formes de violència digital i els límits ètics de l'ús d'aquesta tecnologia.

Tipus de falsificacions sexuals

Els deepfakes sexuals, també coneguts com a ultrafalsificacions sexuals, són imatges, vídeos o àudios manipulats amb ferramentes d'intel·ligència artificial que mostren una persona en situacions eròtiques o sexuals que mai han ocorregut. La seua gran capacitat per a imitar la realitat fa que, a simple vista, resulten difícils de distingir d'un contingut autèntic, malgrat que la persona representada mai ha participat en aquestes escenes ni ha autoritzat la seua creació.

Els deepfakes sexuals no són tots iguals. Algunes manipulacions són tan subtils que passen inadvertides per a la majoria de les persones, mentre que altres recreen escenes sexuals extremadament explícites. No existeix una classificació universalment acceptada perquè es tracta d'un fenomen emergent i en constant evolució. No obstant això, els informes especialitzats distingixen diversos tipus de deepfakes sexuals:

1. Imatges suggeridores o sexualitzades: alteracions digitals que busquen sexualitzar la imatge d'una persona sense arribar necessàriament a mostrar un nu explícit.

2. Besos falsos: vídeos que fan creure que dues persones es besen en la boca quan, en realitat, aquesta situació mai no ha ocorregut.

3. Àudios sexuals falsos (deepvoices): gravacions generades o manipulades mitjançant intel·ligència artificial que imiten la veu d'una persona per a atribuir-li comentaris de caràcter sexual que mai ha realitzat.

4. Nus artificials (deepnudes): imatges sexuals que es creen a partir de fotografies ordinàries. La intel·ligència artificial prediu com seria el cos nu de la persona representada i genera una imatge completament fictícia.

5. Intercanvi de rostres en continguts sexuals (face swap): superposar el rostre d'una persona (obtingut d'una fotografia ordinària) sobre el cos d'una altra que apareix en imatges o vídeos sexuals preexistents.

6. Escenes sexuals creades per intel·ligència artificial: creació de vídeos sexuals des de zero. En aquests casos no es parteix necessàriament d'una fotografia concreta de la víctima, sinó que la intel·ligència artificial genera una persona o una escena completa a partir de grans volums de dades d'entrenament.

Què sabem sobre la seua transcendència i prevalença?

Indicar amb exactitud quantes persones han sigut víctimes o quants deepfakes sexuals circulen a Internet no és una tasca senzilla. Gran part d'aquests continguts es difonen en canals privats o plataformes difícils de rastrejar i, a més a més, moltes víctimes mai arriben a oficialitzar una denúncia davant les autoritats competents.

Així i tot, algunes investigacions especialitzades conclouen que els deepfakes sexuals estan augmentant de forma exponencial. Un informe de Security Hero va estimar que el 98 % dels vídeos deepfake que circulen a internet tenen caràcter sexual i afecten principalment a dones.

A Espanya també comencen a conèixer-se dades relativament alarmants. Un estudi del Centre Reina Sofia i FAD Joventut, realitzat amb jóvens entre 16 i 29 anys, va revelar que al voltant d'una de cada deu persones enquestades reconeixia haver creat o compartit un deepfake sexual d'una persona famosa o d'alguna persona del seu entorn immediat.

Un dels errors més freqüents és pensar que, en tractar-se d'imatges o vídeos falsos, el perjudici és pràcticament inexistent. No obstant això, l'impacte no depèn de l'autenticitat del contingut en si, sinó de la vulneració que implica utilitzar un rostre per a recrear una escena sexual sense el consentiment explícit de la persona representada.

La difusió d'aquests continguts pot derivar en situacions d'aïllament i convertir la víctima en objecte de bromes, rumors o assetjament.

Abordar-ho a l'escola: més enllà del “no envieu fotos”

La rapidesa amb la qual evoluciona la intel·ligència artificial fa necessari impulsar accions educatives des d'edats primerenques. Tanmateix, preparar l'alumnat no és suficient si el professorat no disposa dels coneixements i les eines necessàries per a afrontar aquest fenomen.

Encara avui, molts docents manifesten inseguretat davant la possibilitat d'abordar els deepfakes sexuals a l'aula, bé perquè consideren que no tenen prou formació, bé perquè temen generar controvèrsia amb les famílies o despertar l'interès de l'alumnat per aquestes pràctiques. No obstant això, els deepfakes sexuals no poden abordar-se únicament amb consignes com “no envieu fotos” o “utilitzeu menys el mòbil”. Aquestes recomanacions resulten completament insuficients. El repte educatiu és molt més profund i exigeix desenvolupar competències relacionades amb l'empatia, el consentiment, la privacitat digital i la responsabilitat.

En aquesta línia, des de l'equip d'investigació DIGITALSEX de la Universitat de València estem desenvolupant i avaluant l'efectivitat d'un programa formatiu dissenyat en el marc d'un projecte d'innovació educativa i dirigit al futur professorat d'Educació Primària. L'experiència acumulada ens permet fer algunes recomanacions:

• Ajudar l'alumnat a comprendre les conseqüències que pot tenir manipular la imatge d'una altra persona. Activitats com la creació de campanyes de sensibilització o l'anàlisi de casos reals, com el d'Almendralejo, permeten reflexionar sobre per què crear o difondre continguts sexuals falsos no és una broma, sinó una forma de violència digital.

• Treballar l'empatia. En el nostre programa utilitzem dinàmiques en què l'alumnat imagina com se sentiria si algú modificara la seua imatge per a ridiculitzar-lo. Aquestes activitats ajuden a comprendre emocions com la vergonya o la humiliació, i facilita que els estudiants identifiquen el dany que poden causar aquestes pràctiques.

• Actuar sobre els observadors. Molts episodis de victimització es mantenen perquè els qui presencien els fets callen, se'n riuen o redistribueixen el contingut. Activitats d'anàlisi de casos inspirats en situacions reals (un estudiant que rep per WhatsApp una imatge manipulada d'una companya o una alumna que observa com circulen muntatges dins d'un grup de missatgeria) serveixen com a punt de partida per a debatre quines accions contribueixen a augmentar el perjudici i quines ajuden a protegir la víctima.

Legislar sense educar no és la resposta

La ràpida expansió dels deepfakes sexuals ha suscitat un gran debat social sobre la necessitat d'adaptar la legislació a una realitat tecnològica que, normalment, avança molt més ràpid que les lleis vigents. Disposar d'un marc jurídic adequat és indispensable per a protegir les víctimes i delimitar les responsabilitats d'aquells que creen o difonen aquests continguts.

No obstant això, confiar únicament en la resposta penal constitueix un gran error. L'experiència demostra que prohibir una conducta no és suficient per a evitar que ocorra. Un exemple comparable és el consum d'alcohol entre menors perquè, encara que la seua venda està prohibida, molts continuen sent consumidors habituals. Reduir aquesta problemàtica ha requerit una combinació de mesures legals, campanyes de sensibilització i, sobretot, programes educatius orientats a promoure conductes més responsables.

Amb els deepfakes sexuals ocorre una qüestió semblant. Molts xiquets, xiquetes i adolescents disposen de ferramentes que poden generar imatges o vídeos sexuals falsos amb només uns clics, però pocs reflexionen sobre les conseqüències socials i legals associades al seu ús. D'aquesta problemàtica sorgeix la necessitat d'explorar noves vies de conscienciació a l'escola també des de la ciència.

Vicente Morell-Mengual, Professor Titular. Departament de Psicologia Evolutiva i de l'Educació, Universitat de València

Aquest article va ser publicat originalment a The Conversation. Llegiu l’ original.