Les últimes setmanes s'ha desfermat una polèmica al voltant de TikTok per la propagació massiva de vídeos racistes generats per intel·ligència artificial. Aquestes creacions han aconseguit una gran difusió i han encès les alarmes sobre els riscos de les noves eines d'IA, posant en dubte la capacitat de les plataformes i dels propis desenvolupadors per frenar els discursos d'odi que viatgen per la xarxa a tota velocitat.
La controvèrsia se centra en la nova IA de Google, Veo 3, presentada recentment i que crida l'atenció per la seva capacitat per generar clips hiperrealistes de fins a vuit segons simplement a partir dun text. Segons diversos informes d'organismes com Media Matters, aquests vídeos han estat pujats a TikTok des de desenes de comptes, arribant a acumular xifres milionàries de visualitzacions.
Vídeos plens d'estereotips racistes i deshumanització
La denúncia de Media Matters posa el focus a continguts que representen persones negres com micos, delinqüents o addictes a certs aliments, a més d'imatges en què apareixen immigrants, jueus i persones d'origen asiàtic exposats a burles i comparacions perjudicials. En un dels clips més virals, per exemple, dos policies blancs dins un cotxe patrulla disparen una persona negra després d'assenyalar-la, en una escena que supera els 14 milions de visites.
Altres vídeos, generats amb Veo 3, mostren homes asiàtics perseguits per objectes de neteja o envoltats d'imatges de gats i gossos en al·lusió a vells tòpics, ia membres de la comunitat jueva perseguint monedes d'or o patint referències explícites al nazisme i als camps de concentració. Aquests clips, que en molts casos porten la marca d'aigua visible de la IA de Google, han estat compartits sota etiquetes com #Veo3 o #AI, cosa que en facilita encara més la viralització.
A més del contingut explícit, als comentaris de les publicacions es detecta una gran quantitat de missatges que reforcen o celebren els estereotips presentats, cosa que multiplica l'abast del discurs discriminatori i contribueix a normalitzar-ho.
Falles a les salvaguardes d'IA i desafiaments per a la moderació
L'aparició d'aquests vídeos ha posat de manifest com resulta de senzill esquivar els filtres automàtics de la intel·ligència artificial. Tot i que Google va promocionar Veo 3 com una eina amb salvaguardes avançades (incloent marques d'aigua i bloquejos automàtics per a certes peticions), els usuaris han aconseguit trobar buits al sistema per generar contingut ofensiu.
Els experts destaquen que la IA no sempre és capaç de captar la subtilesa d'alguns símbols i referències racistes, cosa que permet que imatges que aparenten ser innocents passin els filtres tècnics, però tanquen un missatge discriminatori fàcilment reconegut pels qui busquen consumir aquest tipus de material. errors en la comprensió contextual fan que moltes creacions problemàtiques es colin a les plataformes abans de ser revisades per moderadors humans.
Segons portaveus de TikTok, la xarxa social combina algorismes de detecció amb moderació manual per combatre l'odi i la desinformació, i assegura que ha eliminat desenes de comptes implicats i vídeos, en molts casos abans que l'escàndol arribés als mitjans. No obstant això, la velocitat de propagació fa que el mal ja estigui fet quan es prenen mesures.
TikTok i Google, sota pressió per reforçar les polítiques
Les dues empreses han reiterat que prohibeixen de manera taxativa la difusió de discursos d'odi o contingut discriminatori a les seves plataformes. TikTok recalca a les seves directrius que no s'admeten vídeos que deshumanitzin cap col·lectiu, mentre que Google assegura que els seus serveis d'IA inclouen bloquejos automàtics quan es detecten termes o intencions perjudicials.
A la pràctica, però, la moderació massiva resulta insuficient. Les pròpies companyies reconeixen que el volum de vídeos que pugen diàriament dificulta un control efectiu en temps real. A més, en el cas de la IA, els desenvolupadors s'enfronten a la dificultat de codificar totes les variants de llenguatge i simbolisme que es poden fer servir per eludir les restriccions.
Arran de l'enrenou, organitzacions civils, experts i acadèmics han exigit el enfortiment de les salvaguardes a la generació de contingut digital. Entre les propostes hi ha millorar els filtres contextuals de les IAs, establir marques d'aigua visibles i irremovibles i crear eines públiques per identificar l'origen dels vídeos.
La viralitat i l'algorisme: L'odi s'amplifica
L'efecte d'aquests vídeos no es limita a TikTok. Tant a Instagram com a X (abans Twitter) s'han detectat casos similars, encara que amb menys repercussió. La clau és al propi algoritme de recomanació, que dóna visibilitat i premia els continguts més virals, siguin positius o negatius.
Aquest fenomen, segons analistes, genera un cercle viciós: com més extrem és el contingut, més reaccions provoca, cosa que alhora incrementa el seu abast i el seu impacte sobre l'opinió pública. La dificultat per distingir entre vídeos reals i generats per IA complica encara més la tasca, especialment entre els usuaris més joves.
El temor és que la situació s'agreugi si Google integra Veig 3 amb productes com YouTube Shorts, cosa que facilitaria la difusió massiva d'aquest tipus de vídeos i posaria a prova, una vegada més, l'eficàcia dels sistemes de moderació.
Aquest cas a TikTok evidencia la urgent necessitat de replantejar les polítiques i tecnologies associades a la intel·ligència artificial i les plataformes de continguts. Mentre la innovació ofereix noves eines per a la creativitat, també genera reptes ètics i socials que no poden ser ignorats. Sense un marc ferm, el risc que la IA es converteixi en altaveu per a l'odi continua sent més present que mai.