El passat 21 de setembre un empleat de Johns Hopkins Bayview va pujar a la seva eina d'IA preferida un document amb dades de pacients. Probablement volia accelerar una tasca i no va considerar la magnitud del problema en què s'estava ficant. L'hospital, que va detectar l'incident el mateix dia, ha explicat que l'empleat va pujar "per error" un full d'Excel amb dades de pacients a una eina d'IA externa al centre i l'ús de la qual no havia estat aprovat. Per si t'ho estaves preguntant, no ha transcendit el nom de l'eina implicada.
L'Excel en qüestió contenia informació sensible sobre ingressos i tractaments de més de 3.000 persones entre maig i setembre de 2026: noms, dates d'ingrés i tractament, números d'historial clínic, departaments de servei, medicaments administrats… El paquet complet, a excepció dels números de la Seguretat Social o informació de comptes financeres.
En descobrir l'incident l'hospital va ordenar a l'empleat que eliminés el prompt d'IA inicial, així com el fil i l'historial de l'eina. A més, va contactar amb l'empresa propietària d'aquesta IA perquè eliminés la informació. Per ara es desconeix si va tenir èxit amb aquesta gestió.
A més, el centre es va posar en contacte immediatament amb els pacients afectats per demanar-los disculpes i anunciar-los que havien iniciat una investigació per depurar responsabilitats i reforçar les seves mesures de seguretat perquè no tornés a passar mai més. Finalment, oferien als afectats un servei gratuït de monitorització de crèdit durant 12 mesos.
L'incident no amaga una trama de hackers, sinó un comportament innocent però imprudent d'un empleat que va posar en risc la informació de pacients i va situar l'hospital en un terreny pantanós en l'àmbit de la reputació.
No hi ha casos similars registrats a Espanya, però això no vol dir que no hagin passat. La notificació d'aquestes situacions a l'Agència Espanyola de Protecció de Dades no sempre es fa pública, de manera que podria haver-hi casos anàlegs en hospitals del nostre país.
La situació a Espanya
De fet, i com ja va explicar aquest mitjà a l'agost, la Secretaria General de Salut Digital, Informació i Innovació del Sistema Nacional de Salut va publicar aquest agost el document Orientacions per a professionals sanitaris en l'ús de la IA, arran de l'aprovació de l'Estratègia d'Intel·ligència Artificial per al Sistema Nacional de Salut (Eiasns).
Aquest document especifica les pràctiques prohibides, d'alt risc o no acceptables que els professionals i centres sanitaris han d'evitar. Entre elles figuren delegar decisions assistencials a un algoritme, utilitzar sistemes sense validació clínica, introduir dades identificables en eines no autoritzades o emprar models generalistes per diagnosticar i recomanar tractaments.
Prohibit introduir dades de pacients en sistemes no autoritzats
Així, la guia prohibeix introduir dades personals o clíniques identificables en eines que no estiguin dissenyades, validades i autoritzades per a la seva utilització sanitària, o de les quals es desconegui si compleixen el Reglament General de Protecció de Dades. La prohibició no afecta el tractament de dades dins de sistemes sanitaris autoritzats, sinó el seu enviament a aplicacions que no ofereixen les garanties necessàries. La guia sí que contempla l'ús d'informació correctament anonimitzada, sempre que no permeti identificar directament ni indirectament una persona i es mantinguin mesures per evitar la seva reidentificació.
Els resultats, textos o imatges que permetin reconèixer el pacient tampoc s'han de compartir mitjançant canals no segurs, com WhatsApp o el correu electrònic convencional. Per intercanviar aquesta informació s'han d'utilitzar únicament els sistemes interns autoritzats i protegits per la institució sanitària.
Prohibit utilitzar ChatGPT per prendre decisions clíniques
El document dedica un advertiment específic a la utilització de models generalistes, com ChatGPT, en contextos clínics. Aquestes eines no han estat dissenyades ni validades per prendre decisions assistencials i poden mancar de precisió mèdica, oferir informació desactualitzada, reproduir biaixos o generar respostes inventades amb aparença científica. Entre els seus riscos es troben les anomenades "al·lucinacions", com la invenció d'autors, publicacions o referències bibliogràfiques inexistents. Per això, Sanitat no recomana emprar-les per a decisions clíniques crítiques, substituir el judici professional, diagnosticar, prescriure tractaments o comunicar-se directament amb el pacient sense supervisió.
Això no suposa una prohibició absoluta de ChatGPT o d'altres IA generalistes. El document admet la seva utilització com a suport per cercar informació, resumir articles, preparar esborranys o realitzar tasques administratives i repetitives, sempre amb revisió professional, sense introduir dades identificables i sense convertir les seves respostes en decisions clíniques.
Prohibit delegar decisions clíniques a la IA
No obstant això, la principal línia vermella és permetre que una intel·ligència artificial prengui decisions autònomes sobre la salut d'un pacient. Aquests sistemes poden actuar com a suport, però no substituir la responsabilitat assistencial ni el judici clínic del professional. La supervisió humana ha de ser activa i significativa. Això implica revisar de manera independent les recomanacions de l'eina, valorar si encaixen amb el context del pacient i poder corregir-les o descartar-les. En aquest sentit, el Reglament Europeu d'Intel·ligència Artificial exigeix aquesta supervisió en els sistemes d'alt risc, mentre que el Reglament General de Protecció de Dades reconeix el dret dels pacients a no quedar subjectes a decisions basades únicament en tractaments automatitzats.
Prohibit utilitzar eines sense validació clínica
Tampoc s'han d'utilitzar sistemes que no hagin estat validats clínicament. Segons la guia, aquesta validació permet comprovar, en condicions reals o simulades de pràctica clínica, que l'eina funciona de manera segura, precisa, eficaç i fiable amb pacients reals. Emprar una IA sense aquestes garanties pot generar errors diagnòstics, falses alarmes, perjudicis per al pacient i possibles incompliments del Reglament Europeu d'IA i de la normativa sobre productes sanitaris. Davant d'una resposta il·lògica o contradictòria, el professional no l'ha d'incorporar automàticament a l'atenció. Ha de comprovar les dades introduïdes, documentar l'incident i suspendre l'ús assistencial si la inconsistència persisteix.
Prohibit ocultar al pacient l'ús assistencial de la IA
Un punt rellevant és que el fet que el metge no pot ocultar al pacient que està utilitzant intel·ligència artificial quan tingui un paper rellevant en la seva assistència. L'obligació d'informar apareix quan l'eina intervé en un diagnòstic o tractament, processa dades sensibles, aporta informació emprada en decisions clíniques o permet una interacció directa amb el pacient. La comunicació ha d'explicar de manera clara la finalitat del sistema, els seus beneficis, les seves limitacions i la possibilitat que generi errors. Quan el pacient interactuï directament amb una IA, ha de saber que no està parlant amb una persona. No facilitar aquesta informació pot vulnerar el consentiment informat i el principi d'autonomia del pacient.
Prohibit ignorar els biaixos i la manca de traçabilitat
La guia de Sanitat també considera inacceptable ignorar els riscos de biaix, opacitat i pèrdua de traçabilitat. Un sistema entrenat amb dades poc representatives pot oferir resultats menys precisos per a determinats grups i provocar subdiagnòstics relacionats amb el sexe, l'edat o l'origen ètnic, recomanacions menys eficaces o una priorització inadequada dels recursos sanitaris. Per això, l'eina ha de permetre reconstruir com s'ha comportat davant d'un error i comprendre, almenys de manera suficient, quines variables ha utilitzat per arribar a una conclusió. Sense explicabilitat ni auditabilitat, el professional perd capacitat per valorar críticament la recomanació, justificar la seva decisió i informar adequadament el pacient.
Prohibit generar continguts sense advertir de l'ús de la IA
També es rebutja l'ús d'intel·ligència artificial generativa per mantenir comunicacions automàtiques sense advertir prèviament l'interlocutor que està interactuant amb un sistema no humà. De la mateixa manera, considera no acceptable generar imatges o vídeos realistes sense identificar expressament el seu origen artificial. A aquestes pràctiques s'hi sumen l'elaboració d'informes amb informació confidencial, l'enviament de dades sensibles sense anonimitzar i qualsevol presa de decisions que afecti les persones sense supervisió humana directa.