L'avenç vertiginós de la Intel·ligència Artificial ha transformat de manera radical l'ecosistema digital en què conviuen infants i adolescents. El que abans requeria profunds coneixements informàtics, equips costosos i un temps considerable, avui es resol en qüestió de segons des de la pantalla d'un telèfon mòbil amb eines d'Intel·ligència Artificial extraordinàriament fàcils d'utilitzar. Aquesta democratització de la tecnologia ha facilitat l'aparició dels anomenats deepfakes: continguts audiovisuals —ja siguin imatges, vídeos o gravacions de veu— generats o manipulats mitjançant Intel·ligència Artificial per simular una autenticitat inexistent. Per això, abans de convocar eleccions anticipades, el president del Govern, Pedro Sánchez, va anunciar la intenció de l'Executiu de regular més aquest fenomen i tecnologia a través del PlanIA360.
Les conseqüències d'aquest fenomen són alarmants. Com adverteix durant el Dia Mundial de la Salut Mental el metge José Antonio Trujillo, un deepfake pot aconseguir que una persona aparentment digui alguna cosa que mai no ha pronunciat, aparegui en un lloc on mai no ha estat o protagonitzi una imatge de caràcter sexual que mai no ha existit, tot “manipulat amb Intel·ligència Artificial perquè sembli autèntic”. Lluny de considerar-se una simple entremaliadura o una broma inofensiva, aquestes pràctiques s'han consolidat com una forma greu de violència digital i abús sexual que colpeja de manera implacable la salut mental i el benestar emocional dels adolescents.
La barrera d'entrada i la banalització del dany
El canvi en la naturalesa dels deepfakes ha mutat el perfil dels agressors. Per a Trujillo, la violència també s'ha democratitzat. “El problema ja no és únicament algú amb grans coneixements informàtics. Pot ser un adolescent que, amb molt poca consciència de les conseqüències, utilitza una fotografia d'un company i una aplicació accessible a internet”, assenyala.
Aquesta facilitat d'accés alimenta una falsa percepció d'impunitat. Per a molts menors, agafar una fotografia del rostre d'un company, prémer diversos botons i difondre el resultat en un xat privat o a xarxes socials es percep com un divertiment sense més repercussions. La falsa lleugeresa amb què es maneja l'eina fa que es perdi completament la noció de la gravetat de l'acte. Tanmateix, com recorda de manera categòrica el psicòleg i vicepresident del Consell General de la Psicologia d'Espanya, José Antonio Luengo, sota els principis rectors d'organismes internacionals com UNICEF, és imperatiu assumir que “encara que la imatge sigui falsa, el dany és real”.
L'impacte psicològic: identitat trencada i indefensió extrema
Per a un adolescent, la seva autoimatge i acceptació social actuen com a pilars fonamentals del seu desenvolupament evolutiu, el descobriment d'un contingut fals i humiliant provoca una commoció profunda. Andrés Fontalba, psiquiatre a l'Hospital d'Antequera, explica que l'impacte immediat és summament elevat perquè ataca directament l'essència de la persona: “En el moment en què tu no controles, per exemple, la teva pròpia identitat o la percepció del teu propi cos, al final suposa com una ruptura fins i tot de la pròpia imatge”.
A diferència de les formes tradicionals de ciberassetjament, per a Trujillo, el deepfake incorpora un element pervers i desestabilitzador: fabrica una prova falsa que dota d'aparent credibilitat un rumor malintencionat. En aquesta línia, subratlla aquesta diferència substancial: “En el ciberassetjament algú pot insultar-te o difondre un rumor sobre tu. Amb un deepfake pot fabricar aparentment la imatge, el vídeo o la veu que demostra aquest rumor”.
Aquesta circumstància sotmet la víctima a una prova dramàtica, obligant-la a demostrar que allò que tots els seus companys estan veient mai no va succeir. A més, en els casos d'índole sexual, “ni tan sols és necessari que la víctima hagi compartit mai una imatge íntima”; els agressors poden utilitzar una fotografia convencional de la seva cara per aconseguir la imatge adulterada.
Les repercussions clíniques d'aquesta agressió són extenses i severes. Segons Fontalba, les seqüeles poden abastar des de dificultats per conciliar el son, ansietat generalitzada i depressió fins a quadres més complexos: “Nosaltres, en concret, també vam fer un estudi sobre com poden fins i tot amplificar-se i cronificar-se les alteracions de conducta alimentària o, per què no, fins i tot un grau màxim fins a un trastorn pel cos traumàtic”. Quan la víctima creu que no posseeix cap control sobre la seva pròpia identitat digital ni sobre el seu cos, es genera una situació límit que el psiquiatre defineix com “la de la indefensió apresa”, on el menor, en comprovar que no pot frenar l'agressió, opta per resignar-se davant el maltractament continuat.
De l'entorn virtual al cara a cara: el trauma tridimensional i l'ecosistema adolescent
El patiment digital no es restringeix a internet o als xats; es materialitza en el dia a dia dins dels instituts. Com descriu gràficament Luengo “el trauma deixa de ser virtual per tornar-se omnipresent i tridimensional”. La pèrdua del refugi segur és absoluta. “L'agressor entra a l'habitació del menor a través del telèfon i l'endemà l'espera a la taquilla o al pati”. Aquesta proximitat quotidiana sotmet el sistema nerviós del menor a un estat crònic d'hipervigilància i anticipació ansiosa, esgotant els seus recursos cognitius i convertint el centre educatiu en un entorn hostil sense via d'escapament.
A més, entre els grups d'adolescents, la tecnologia ja és una part més de la realitat tangible, de manera que aquells continguts que observen a internet o en xats tenen tanta credibilitat com el que passa al món físic. Trujillo argumenta que no és un problema d'ingenuitat, sinó que simplement han acceptat allò virtual com a part del seu entorn. “Viuen dins d'un ecosistema en què reben una quantitat enorme d'estímuls audiovisuals, molt ràpidament i gairebé sempre fora de context”. Xarxes socials com TikTok o Instagram, amb els seus vídeos curts de menys d'un o dos minuts col·laboren a aquest fenomen. A més, si a aquesta hiperestimulació se li suma una cara coneguda i un contingut que encaixa amb les expectatives del grup, el cervell tendeix a concedir-li validesa de manera automàtica sense sotmetre'l a cap filtre de verificació.
La llei del silenci i la perillosa complicitat del grup
Les dinàmiques grupals juguen un paper determinant en la perpetuació d'aquestes violències. Durant l'adolescència, la voluntat de pertinença al grup d'iguals és gairebé una necessitat. Davant un deepfake, els testimonis directes solen replegar-se sota l'empara de la llei del silenci per por de convertir-se en el proper blanc de la burla o l'aïllament.
Fontalba aprofundeix en aquesta perniciosa dinàmica col·lectiva en assenyalar com actua l'entorn: “Si amb el deepfake directament ens en riem, què fem? Aquest missatge el validem i l'amplifiquem. Però igual de poderós també o igual de nociu pot ser el silenci. Si davant això ho estem veient, que hi ha una persona al nostre costat patint aquesta agressió, amb el silenci validem i normalitzem aquesta situació”. Mitjançant el riure es reforça l'agressió i mitjançant el silenci es normalitza com un component més de l'entorn escolar, reduint la responsabilitat individual en una suposada broma col·lectiva que destrueix la víctima.
Reptes educatius, prevenció i la urgència d'una regulació global
Davant la magnitud d'aquesta crisi, els centres educatius i els docents es troben, de manera generalitzada, a remolc de la innovació tecnològica. Les institucions sovint manquen de recursos específics, formació profunda en alfabetització mediàtica i protocols àgils adaptats als riscos de la Intel·ligència Artificial.
Els tres experts coincideixen que la resposta no pot limitar-se a intervencions punitives tardanes ni a prohibicions estèrils. Trujillo destaca que és indispensable reformular l'educació tecnològica. “Hem de treballar, com dèiem anteriorment, en alfabetització digital, en intervencions comunitàries i en promoció de la salut mental”, afirma. Insisteix que no n'hi ha prou amb ensenyar a utilitzar eines com ChatGPT o generadors d'imatges, sinó en educar per conviure èticament amb elles i controlar la nostra relació amb la tecnologia.
Per la seva banda, Luengo exigeix un compromís estricte per part de la indústria tecnològica: “Les empreses tecnològiques tenen l'obligació estricta d'evitar la circulació d'imatges d'abusos i deepfakes no consentits de menors, en lloc de limitar-se a eliminar-les un cop s'han difós de manera tardana”. Des de la seva perspectiva, les grans plataformes no poden externalitzar la seva responsabilitat de seguretat sobre les espatlles de les famílies i de les pròpies víctimes a través de mecanismes de denúncia lents i burocràtics.
Finalment, Fontalba emfatitza que les lleis i iniciatives reguladores —com el Reglament Europeu d'Intel·ligència Artificial— suposen un avenç indispensable per fixar obligacions de transparència i control, però adverteix que la legislació per si sola resulta insuficient si la societat normalitza conductes perjudicials a l'ombra. Protegir de manera efectiva la salut mental dels menors exigeix articular una xarxa comunitària sòlida que combini la regulació rigorosa del disseny tecnològic, la formació primerenca en consentiment digital, el pensament crític i la creació d'espais segurs d'acompanyament on les víctimes puguin denunciar sense por de ser jutjades ni culpabilitzades.