El biaix d'automatització és un fenomen més que conegut. Els humans tendim a confiar de manera excessiva en tot allò que genera un sistema automatitzat o una IA, acceptant-los com a correctes sense qüestionar-los realment.
Un professional sanitari que utilitzi la IA ha de tenir clar que aquest biaix l'exposa a acabar acceptant com a pròpies decisions raonables però discutibles en què la IA ha prioritzat quins supòsits acceptar i, sobretot, quines alternatives descartar. En resum, que la suposada supervisió humana pot acabar convertint-se en una ratificació implícita dels supòsits que va escollir la IA.
L'avís no ve d'un ludita des d'una caverna sense connexió a internet. El seu autor és Alex Tamkin, doctor en Machine Learning per Stanford i líder de l'Anthropic Economic Index, investigador de l'anàlisi d'ús real de Claude (CLIO) i autor de nombrosos treballs sobre col·laboració humà-IA. Tamkin ha publicat un paper titulat Qui s'alinea amb qui? en què explora el biaix d'automatització de Claude Code a través de 50 professionals familiaritzats amb la inferència causal als quals va demanar que analitzessin dades sintètiques d'una cooperativa agrícola i recomanessin si ampliar o abandonar el programa. Sí, no eren metges atenent pacients, és cert; però el procés s'aplica igual.
L'agent que van utilitzar, Claude Code, va rebre, a l'atzar i sense que els participants ho sabessin, la instrucció d'inclinar-se cap a una de les dues opcions a defensar, però no tenia permès inventar dades, sinó que havia d'argumentar honestament. Això ja revela un punt important: no cal que la IA al·lucini perquè influeixi en la decisió final.
Què creieu que va passar? Anthropic ho explica a la seva pròpia web: el 86% de les decisions analítiques va coincidir amb la inclinació que s'havia assignat, amb un efecte causal mitjà de 72 punts percentuals. I per més inri, després de fer la tasca, el 77% dels participants va repetir els arguments del seu agent per justificar les seves decisions, moltes vegades gairebé de manera literal. Només el 15% d'ells va esmentar Claude. Més de la meitat -atenció a la dada- es va atribuir la decisió més a si mateix que a la IA que havia utilitzat.
Cinc claus perquè no li passi en la seva pràctica clínica
És clar que l'estudi de Tamkin té limitacions (reconegudes en el mateix paper) i que no es pot extrapolar així com així a la pràctica mèdica, però també és cert que reflecteix alguns punts que tot professional de la salut que vulgui utilitzar IA per a la seva pràctica professional hauria de tenir esculpits a la funda del seu telèfon mòbil.
En primer lloc, revisar la resposta final no equival a controlar el raonament. Si l'agent escull quins estudis destacar, quin desenllaç és rellevant o com pondera els efectes adversos, això de comprovar al final que “tot sembla en ordre” és de primer de Capità a posteriori.
En segon lloc, en el món clínic moltes decisions tenen un nombre enorme d'opcions: quina prova prioritzar, com presentar el rati benefici-dany o quan derivar. És cert que les guies i les contraindicacions acoten molt aquest terreny, però allà on no existeixen valors clars o preferències del pacient, el metge no hauria de cedir aquesta potestat (el criteri clínic) al que li sembli millor a la seva IA.
En tercer lloc, una obvietat: el fet de tenir una formació excel·lent o una gran confiança en l'habilitat pròpia no et protegeixen ni garanteixen la teva independència. O com diria Ricky Gervais, el fet que estiguis ofès no vol dir que tinguis raó. En el paper d'Anthropic, els 50 participants tenien una sòlida formació, estaven més que familiaritzats amb la inferència causal i això no els va protegir del biaix d'automatització.
En quart lloc, això de no totes les IA són iguals està bé per discutir entre cunyats, però res més. És cert que l'experiment es va fer amb una configuració concreta i que aquest 86% de match entre el que la IA proposava i el que l'humà va escollir respon a aquesta configuració. Però és igual de cert que el mateix mecanisme opera també a ChatGPT, Gemini o qualsevol IA de consum. Perquè el fenomen no depèn que el model et menteixi, sinó de com reacciona un humà davant d'una resposta convincent d'una IA.
En cinquè, i últim lloc, potser la manera d'avaluar la seguretat d'una IA en salut no sigui realment segura. Habitualment s'examinen els models de manera aïllada: em dóna respostes correctes?, al·lucina?, ho fa millor que els millors metges? El que Anthropic revela amb aquest paper és que tot això no n'hi ha prou: el risc no resideix només en l'eina, sinó en com la fem servir i com reaccionem als seus arguments. Una IA podria encertar-ho tot i tot i així estar prioritzant (escollint i descartant) supòsits mentre el metge està convençut que decideix ell. Caldria apuntar a una avaluació més complexa que mesurés els models també en funció de com s'utilitzen en un procés clínic real, quins punts revisa el metge, si contrasta alternatives o únicament les ratifica. El fet que el metge signi un informe no és garantia que hagi supervisat efectivament tot el procés. Però la signatura sí que és efectiva, és clar.
És bo recordar que la Secretaria General de Salut Digital, Informació i Innovació del Sistema Nacional de Salut va publicar aquest agost el document Orientacions per a professionals sanitaris en l'ús de la IA, arran de l'aprovació de l'Estratègia d'Intel·ligència Artificial per al Sistema Nacional de Salut (Eiasns).
Bonus track: què recomana la pròpia IA per a aquesta situació
Vegem ara què diu una IA (no Claude) en demanar-li opcions per mitigar l'impacte del biaix d'automatització. D'entrada, un disclaimer: “Aquesta és la meva interpretació, no una conclusió del paper. L'estudi ha mesurat el problema, però no ha provat cap solució: no va comparar participants que aplicaven aquestes pràctiques amb altres que no, de manera que no hi ha evidència que funcionin”.
I aquí les seves recomanacions:
- Abans de demanar la recomanació en decisions importants, escriure la pròpia valoració inicial: hipòtesis, opcions i quin dada canviaria la decisió.
- Demanar alternatives defensables i els seus supòsits: "Separa fets, inferències i preferències. Exposa la millor raó per a l'alternativa". No n'hi ha prou amb demanar que expliqui per què la seva opció és bona.
- Verificar estudis, dosis i contraindicacions en fonts clíniques originals, no en l'explicació del propi agent.
- Revisar en punts de decisió, no només al final. I no confondre dues respostes coincidents del mateix model amb dues opinions independents.
- No bolcar dades identificables de pacients en un chatbot general: la privacitat és una obligació a part (guia AEPD del sector sanitari).