Quan la màquina somia: anatomia de les al·lucinacions de la intel·ligència artificial

El cas que ho va canviar tot: Quan la IA va inventar la llei

L’any 2023, la carrera professional de l’advocat novaiorquès Steven Schwartz va patir un cop devastador per culpa d’una tecnologia que ell creia que era el seu millor aliat. En el cas Mata v. Avianca, Schwartz va presentar un escrit amb sis precedents judicials que semblaven perfectes. Però quan els advocats de la defensa i el mateix jutge van intentar buscar aquells casos, no van trobar absolutament res.

El jutge que portava el cas va imposar una multa de 5.000 dòlars a Schwartz i al seu soci, escrivint unes paraules que han quedat gravades en la història del dret digital: “S’han presentat sis casos que semblen ser decisions judicials falses amb cites falses i referències internes falses.”

ChatGPT no s’havia limitat a equivocar-se en un nom; havia creat un univers jurídic paral·lel. Havia inventat el cas Varghese v. China Southern Airlines, amb detalls del vol, arguments de les parts i la decisió final del tribunal. Quan l'advocat va preguntar al xat: “És real el cas Varghese?”, la IA va respondre: “Sí, és un cas real que es pot trobar en bases de dades legals com Westlaw i LexisNexis”. Aquesta és l’essència de l’al·lucinació: una certesa absoluta enmig de la falsedat total. Aquest incident va marcar precedent en la deontologia professional.

Què és una al·lucinació? Més enllà de la metàfora

En informàtica clàssica, si un programa té un error, sol ser un “bug”: el sistema es bloqueja o retorna un resultat nul. Però els models de llenguatge (LLM) no funcionen així. Quan parlem d’al·lucinació, ens referim a la generació de contingut que és sintàcticament correcte però que és incorrecte o sense sentit respecte a les dades d’entrenament.

El terme ha estat criticat per experts com Timnit Gebru i Emily M. Bender, autores de l’article On the Dangers of Stochastic Parrots (Sobre els perills dels lloros estocàstics). Argumenten que anomenar-ho “al·lucinació” és una forma d’antropomorfisme perillós que atribueix capacitats mentals a una màquina. Segons Bender: “Un model de llenguatge és un sistema per barrejar seqüències de formes lingüístiques que ha observat en les seves dades d’entrenament, segons probabilitats probabilístiques. No té cap relació amb el significat.” Per tant, la IA no “veu” coses que no hi són; simplement omple buits estadístics amb la paraula més plausible.

Què és la pareidolia digital?

L’al·lucinació és el resultat de la natura predictiva de la IA. Si demanes a un model que completi una frase, ell no consulta una enciclopèdia mental; calcula quina és la paraula més probable que ve després de l’anterior. Si la probabilitat indica que “Alexander Fleming” va descobrir la penicil·lina, ho dirà. Però si li demanes qui va inventar el “microscopi de galetes”, la IA, en lloc de dir “això no existeix”, podria combinar els conceptes “microscopi” i “galetes” per inventar-se, per exemple, un personatge del segle XIX anomenat Hans Cookie. Aquest fenomen és una mena de pareidolia digital: així com els humans veiem cares en els núvols, els models de llenguatge “veuen” patrons d'informació on només hi ha soroll o preguntes sense resposta, forçant una coherència que la realitat no sosté.

Les causes tècniques: Per què falla la màquina?

Per entendre per què la IA “menteix”, hem d’obrir el capó dels anomenats Transformers, l’arquitectura que mou models com GPT-4 o Claude.

Galeria dels errors: Exemples Reals

L’al·lucinació no discrimina temàtiques. Ha afectat la ciència, el comerç i les relacions humanes.

El cas d’Air Canada i el reemborsament fantasma (2024). Aquest és un dels primers casos on una al·lucinació va tenir una conseqüència econòmica directa dictada per un tribunal. Un passatger, Jake Moffatt, va preguntar al xatbot d’Air Canada sobre la política de reemborsaments per dol (quan algú viatja pel funeral d’un familiar). El xatbot li va dir que podia demanar el descompte després de comprar el bitllet. Quan en Moffatt va demanar els diners, l’aerolínia s’hi va negar, dient que la política real exigia fer la petició abans del vol. Air Canada va argumentar davant el tribunal que el xatbot era “una entitat legal separada” i que no podien ser responsables dels seus errors. El jutge Christopher Rivers va rebutjar aquest argument de forma contundent: “Air Canada no explica per què creu que el xatbot és una entitat legal separada o per què no és responsable de la informació proporcionada pel seu lloc web. És un argument notable.” L’aerolínia va ser condemnada a pagar el descompte promès pel bot al·lucinat.

Google Bard i el telescopi James Webb. El febrer de 2023, Google va publicar un vídeo promocional per al seu nou xatbot, Bard. A la pregunta “Quins nous descobriments del telescopi espacial James Webb (JWST) puc explicar al meu fill de 9 anys?”, Bard va respondre que el JWST “va fer les primeres fotografies d’un planeta fora del nostre propi sistema solar”. Aquesta afirmació era falsa. La primera fotografia d’un exoplaneta (2M1207b) es va fer l’any 2004 amb el Very Large Telescope a Xile, gairebé dues dècades abans que el James Webb es llancés. L’error va ser detectat per astrònoms a Twitter en qüestió de minuts, i les accions d’Alphabet (matriu de Google) van caure un 7%, eliminant 100.000 milions de dòlars de valor de mercat en un sol dia.

Galactica de Meta: Ciència de ficció. Meta va llançar un model anomenat Galactica, dissenyat específicament per ajudar científics a escriure resums i articles. Va durar només tres dies en línia. El model generava articles que semblaven científicament rigorosos però que proposaven coses com que “menjar vidre triturat és beneficiós per a la salut” o inventava fórmules matemàtiques que no tenien cap sentit sota l’aparença d’equacions complexes.

Els riscos sistèmics: Quan l’al·lucinació es torna perillosa

Més enllà d’anècdotes sobre telescopis o bitllets d’avió, les al·lucinacions plantegen riscos estructurals per a la societat.

1. La desinformació automatitzada. La capacitat d’aquests models per generar notícies falses és immensa. Un bot pot al·lucinar una crisi política en un país petit, citant fonts que no existeixen, i publicar-ho en centenars de webs de notícies falses en segons. Com que el text no té les faltes d’ortografia típiques del spam tradicional, el lector baixa la guàrdia.

2. Medicina: El diagnòstic “probable”. En l’àmbit mèdic, una IA podria rebre una llista de símptomes i, a causa de la seva naturalesa predictiva, “completar” el diagnòstic amb una malaltia que encaixa estadísticament però que ignora una dada clau del pacient. Un estudi publicat a Nature va advertir que alguns models tendien a “inventar” efectes secundaris de medicaments basant-se només en el so del nom químic del fàrmac.

3. Seguretat i vehicles autònoms. L’al·lucinació no és exclusiva del text. En la visió per computador, un sistema pot “al·lucinar” un vianant on només hi ha una taca de llum, o pitjor, no veure un obstacle perquè el seu model predictiu decideix que “no és probable” que hi hagi un camió travessat a l’autopista en aquell moment.

Estratègies de combat: Podem curar la IA?

La indústria està treballant en el que s’anomena “Guardrails” (baranes de seguretat) i noves arquitectures per minimitzar aquests errors.

RAG: L’examen amb llibre obert. La tècnica més eficaç avui dia és el RAG (Retrieval-Augmented Generation). En lloc de confiar en la “memòria” del model, el sistema fa el següent:

1. Rep la pregunta de l’usuari.

2. Cerca en una base de dades externa de confiança (documents oficials, Wikipedia verificada, arxius de l’empresa).

3. Entrega la informació trobada al model de llenguatge.

4. Li diu al model: “Respon a l’usuari utilitzant només aquesta informació”.

Això redueix dràsticament les al·lucinacions perquè el model ja no ha d’inventar; ha de resumir.

La cadena de pensament (Chain of Thought). S’ha descobert que si demanes a la IA que “pensi pas a pas”, les al·lucinacions baixen. En obligar el model a desglossar la seva lògica, és més probable que ell mateix trobi una inconsistència. Per exemple, si li demanes un càlcul complex, és millor dir: “Calcula-ho pas a pas i comprova cada resultat” que simplement dir “Dona’m el resultat”.

El paper de la creativitat: L’error com a mestre

És fascinant notar que, sense la capacitat d’al·lucinar, la IA seria inútil per a tasques creatives. Si demanem a una IA que “escrigui un conte sobre un drac que viu a la Sagrada Família”, li estem demanant, literalment, que al·lucini.

L’al·lucinació és el que permet a eines com Midjourney o DALL-E crear imatges mai vistes. Un dissenyador pot aprofitar una “al·lucinació visual” per trobar una forma orgànica per a un nou edifici que mai se li hauria acudit a un humà. En aquest sentit, l’al·lucinació no és un error del sistema, sinó la seva característica fonamental. El problema no és que la IA tingui imaginació, el problema és que no sap quan l’ha d’apagar.

El retorn de la responsabilitat humana

Les al·lucinacions de la IA ens han obligat a reavaluar la nostra relació amb la informació. Durant dècades, hem assumit que el que sortia d’una pantalla d’ordinador era producte d’una lògica binària infal·lible. Ara sabem que estem davant d’una tecnologia que s’assembla més a un orador eloqüent però poc fiable que no pas a una calculadora.

L’al·lucinació ens recorda que el “filtre de veritat” ha de ser sempre humà. La tecnologia pot processar bilions de dades, però no té el que els filòsofs anomenen “intencionalitat”: no sap què vol dir que una cosa sigui veritat.

En l’era de la IA generativa, el nostre paper ha canviat. Ja no som només operadors; som editors. Som els jutges que, com P. Kevin Castel, hem de mirar els precedents i dir: “Això no és real”. La intel·ligència artificial ens ofereix un mirall de tot el coneixement humà, però en aquest mirall, a vegades, hi apareixen monstres i castells de cartes que només nosaltres tenim el poder de desmuntar.