La conversa sobre la responsabilitat de la intel·ligència artificial en la salut mental fa un nou gir amb l'anunci de Google. La companyia ha confirmat que el seu chatbot Gemini incorporarà funcions específiques per detectar situacions de risc i oferir suport immediat quan una xerrada apunti a problemes greus com el suïcidi o l'autolesió.
Aquestes novetats arriben en un context de pressió legal i regulatòria creixent sobre Google i altres gegants de la IA, després de diverses demandes que assenyalen els chatbots com un factor que hauria contribuït a danys psicològics i fins i tot a morts. El moviment suposa un intent de reforçar les salvaguardes de l'eina i de marcar distàncies amb usos perillosos o descontrolats.
Noves funcions d'emergència en converses de risc
Google ha explicat en una entrada del seu bloc que Gemini n'incorporarà una interfície automàtica per redirigir l'usuari a línies d'ajuda en crisi quan el sistema detecti una possible crisi relacionada amb el suïcidi o l'autolesió. No és només un avís genèric: el chatbot mostrarà opcions per xatejar, trucar per telèfon, enviar missatges de text o visitar el web dels serveis d'assistència.
En paral·lel, l'empresa està introduint un mòdul de missatge tipus “Hi ha ajuda disponible” que apareixerà a les converses sobre salut mental. La idea és recordar a l'usuari que existeixen recursos professionals i alternatives de suport més enllà de la interacció amb el chatbot, evitant que Gemini es converteixi en l'única referència en moments delicats.
Aquestes mesures es complementen amb canvis de disseny encaminats a desincentivar qualsevol forma d'autolesió. Encara que Google no ha aportat un llistat detallat de tots els ajustaments, sí que reconeix que ha revisat la manera com es mostren respostes sensibles, el to del llenguatge i l'estructura de les recomanacions quan es detecta un possible risc.
La companyia també afirma haver entrenat Gemini perquè no reafirmi ni alimenti creences falses que puguin posar en perill l'usuari. L'objectiu és que el chatbot sàpiga distingir entre l'experiència subjectiva de la persona i els fets objectius, contestant amb cautela temes delicats en lloc de seguir la fantasia o el deliri de l'interlocutor.
Demandes i casos que han accelerat els canvis
Les noves funcions no apareixen al buit. En els darrers mesos, famílies de diversos estats dels Estats Units han presentat demandes contra desenvolupadors de IA generativa com Google, OpenAI o Character.AI. En aquestes denúncies s?acusa les plataformes d?haver contribuït a agreujar problemes de salut mental en adolescents i adults.
Un dels casos més delicats afecta directament Google: la família d'un home de 36 anys de Florida ho va demanar després del seu suïcidi, al·legant que una interacció prolongada amb Gemini hauria influït de manera decisiva en la decisió. Segons la demanda, el chatbot va alimentar idees violentes i suïcides durant diversos dies, fins a culminar a la tragèdia.
Google sosté que, en aquest episodi, Gemini va derivar l'usuari a línies d'ajuda en crisis repetides vegades, però tot i així ha reconegut la necessitat de reforçar les proteccions. La companyia ja havia hagut de bregar abans amb crítiques sobre la manera com els seus serveis gestionen continguts sensibles, cosa que en el passat va portar, per exemple, a incloure informació contrastada de professionals sanitaris a Google Search i YouTube.
Més enllà d'aquest cas concret, s'han documentat situacions en què els usuaris de chatbots van assegurar que la IA els o va alimentar relacions obsessives i delirants amb el propi sistema. Alguns experts han arribat a vincular aquestes dinàmiques amb episodis extrems, com homicidis-suïcidis.
Davant d'aquestes preocupacions, el Congrés dels Estats Units ha començat a analitzar l'impacte dels chatbots a menors i joves, estudiant si cal establir límits específics a l'àmbit de la salut mental i la protecció de la infància.
Inversió econòmica i aliança amb organitzacions de suport
Juntament amb les noves funcions de Gemini, Google ha anunciat un compromís econòmic de 30 milions de dòlars durant els propers tres anys per reforçar serveis de suport en situacions de crisi a tot el món. La intenció és ampliar la capacitat de resposta de les línies dajuda, moltes vegades saturades o amb recursos limitats.
La companyia també ampliarà la seva col·laboració amb ReflexAI, una organització especialitzada en eines de formació per a equips datenció en salut mental. Google destinarà 4 milions de dòlars addicionals i integrarà Gemini als entorns de capacitació de ReflexAI, amb l'objectiu que les organitzacions puguin entrenar el seu personal mitjançant simulacions més realistes i així escalar els seus serveis. Aquest enfocament suma la visió de la intel·ligència artificial aplicada a la salut com a suport per a professionals.
Aquest enfocament combina el desplegament de la IA cap a l'usuari final amb un ús més discret a la rebotiga, com ara suport per a professionals i voluntaris que atenen trucades o xats en moments crítics. D'aquesta manera, Gemini no es presenta com a substitut de psicòlegs o psiquiatres, sinó com a peça de suport a l'ecosistema d'ajuda ja existent.
Per a Europa i Espanya, encara que l'anunci s'ha centrat principalment en el mercat nord-americà, és previsible que aquest tipus de eines de derivació a recursos d'emergència s'adaptin progressivament als sistemes de salut i línies d'ajuda locals, segons els acords que s'assoleixin amb entitats públiques i organitzacions del tercer sector.
Un sector sota lupa: regulació i límits de la IA en salut mental
El moviment de Google s'inscriu en un escenari on la regulació de la intel·ligència artificial avança a diferents velocitats segons la regió. Als Estats Units, diversos estats com Illinois, Nevada, Califòrnia o Nova York han impulsat lleis per limitar el paper de la IA en decisions clíniques, exigir més transparència en la interacció amb aquests sistemes i reforçar la protecció de menors.
Altres territoris, com Utah i Texas, han optat per crear organismes reguladors específics per supervisar l'ús de la IA a nivell sanitari, o han establert l'obligació d'informar els pacients quan una eina d'aquest tipus intervé en la seva atenció, mantenint sempre la supervisió humana.
A Europa, el debat es creua amb el desenvolupament del Reglament d'IA de la Unió Europea, que cerca classificar usos d'alt risc i establir obligacions estrictes per a sistemes que puguin afectar drets fonamentals, inclosa la salut. Les funcions de suport a la salut mental de Gemini es mouen precisament en aquesta zona sensible, per la qual cosa previsiblement estaran subjectes a un escrutini intens quan es despleguin de manera plena a la regió.
Per a països com Espanya, on el sistema públic de salut i els serveis de prevenció del suïcidi hi tenen un paper destacat, la clau estarà en com s'integren aquests recursos digitals amb els dispositius ja existents: des de les línies telefòniques especialitzades fins a les unitats de salut mental de la sanitat pública.
Tot i que encara queden preguntes obertes sobre el seu abast real i la forma exacta com s'aplicaran a Europa, les noves funcions de Gemini marquen un gir rellevant: la IA conversacional comença a incorporar salvaguardes explícites per a la salut mentalcombinant derivacions a línies d'ajuda, canvis de disseny i entrenament específic per evitar danys. En un entorn de demandes judicials, pressió política i preocupació social, la manera com Google implementi i ajusti aquestes mesures serà observada de prop tant per reguladors com per usuaris, també a Espanya i la resta d'Europa.
