Cuando la máquina sueña: anatomía de las alucinaciones de la inteligencia artificial

El caso de que lo cambió todo: Cuando la IA inventó la ley

El año 2023, la carrera profesional del abogado neoyorquino Steven Schwartz sufrió un golpe devastador por culpa de una tecnología que él creía que era su mejor aliado. En el caso Mata v. Avianca, Schwartz presentó un escrito con seis precedentes judiciales que parecían perfectos. Pero cuando los abogados de la defensa y el mismo juez intentaron buscar aquellos casos, no encontraron absolutamente nada.

El juez que llevaba el caso impuso una multa de 5.000 dólares a Schwartz y a su socio, escribiendo unas palabras que han quedado grabadas en la historia del derecho digital: “se han presentado seis casos que parecen ser decisiones judiciales falsas con citas falsas y referencias internas falsas.”

ChatGPT no se había limitado a equivocarse en un nombre; había creado un universo jurídico paralelo. Había inventado el caso Varghese v. China Southern Airlines, con detalles del vuelo, argumentos de las partes y la decisión final del tribunal. Cuando el abogado preguntó al chat: ¿“Es real el caso Varghese”?, la IA respondió: “Sí, es un caso real que se puede encontrar en bases de datos legales como Westlaw y LexisNexis”. Esta es la esencia de la alucinación: una certeza absoluta en medio de la falsedad total. Este incidente marcó precedente en la deontología profesional.

¿Qué es una alucinación? Más allá de la metáfora

En informática clásica, si un programa tiene un error, suele ser un “bug”: el sistema se bloquea o devuelve un resultado nulo. Pero los modelos de lenguaje (LLM) no funcionan así. Cuando hablamos de alucinación, nos referimos a la generación de contenido que es sintácticamente correcto pero que es incorrecto o sin sentido con respecto a los datos de entrenamiento.

El término ha sido criticado por expertos como Timnit Gebru y Emily M. Bender, autoras del artículo On the Dangers of Stochastic Parrots (Sobre los peligros de los loros estocásticos). Argumentan que llamarlo “alucinación” es una forma de antropomorfismo peligroso que atribuye capacidades mentales a una máquina. Según Bender: “Un modelo de lenguaje es un sistema para mezclar secuencias de formas lingüísticas que ha observado en sus datos de entrenamiento, según probabilidades probabilísticas. No tiene ninguna relación con el significado.” Por lo tanto, la IA no “ve” cosas que no están; simplemente llena huecos estadísticos con la palabra más plausible.

¿Qué es la pareidolia digital?

La alucinación es el resultado de la naturaleza predictiva de la IA. Si pides a un modelo que complete una frase, él no consulta una enciclopedia mental; calcula cuál es la palabra más probable que viene después del anterior. Si la probabilidad indica que “Alexander Fleming” descubrió la penicilina, lo dirá. Pero si le preguntas quién inventó el “microscopio de galletas”, la IA, en lugar de decir “eso no existe”, podría combinar los conceptos “microscopio” y “galletas” para inventarse, por ejemplo, un personaje del siglo XIX llamado Hans Cookie. Este fenómeno es una especie de pareidolia digital: así como los humanos vemos caras en las nubes, los modelos de lenguaje “ven” patrones de información donde sólo hay ruido o preguntas sin respuesta, forzando una coherencia que la realidad no sostiene.

Les causas técnicas: ¿Por qué falla la máquina?

Para entender por qué la IA “miente”, tenemos que abrir el capó de los llamados Transformers, la arquitectura que mueve modelos como GPT-4 o Claude.

Galería de los errores: Ejemplos Reales

La alucinación no discrimina temáticas. Ha afectado a la ciencia, el comercio y las relaciones humanas.

El caso de Air Canada y el reembolso fantasma (2024). Este es uno de los primeros casos donde una alucinación tuvo una consecuencia económica directa dictada por un tribunal. Un pasajero, Jake Moffatt, preguntó al chatbot de Air Canada sobre la política de reembolsos por luto (cuándo alguien viaja para el funeral de un familiar). El xatbot le dijo que podía pedir el descuento después de comprar el billete. Cuando en Moffatt pidió el dinero, la aerolínea se negó, diciendo que la política real exigía hacer la petición antes del vuelo. Air Canada argumentó ante el tribunal que el chatbot era “una entidad legal separada” y que no podían ser responsables de sus errores. El juez Christopher Rivers rechazó este argumento de forma contundente: “Air Canada no explica por qué cree que el chatbot es una entidad legal separada o por qué no es responsable de la información proporcionada por su sitio web. Es un argumento notable.” La aerolínea fue condenada a pagar el descuento prometido por el bot alucinado.

Google Bard y el telescopio James Webb. En febrero de 2023, Google publicó un vídeo promocional para su nuevo chatbot, Bard. ¿A la pregunta “Qué nuevos descubrimientos del telescopio espacial James Webb (JWST) puedo explicar a mi hijo de 9 años”?, Bard respondió que el JWST “hizo las primeras fotografías de un planeta de nuestro propio sistema solar”. Esta afirmación era falsa. La primera fotografía de un exoplaneta (2M1207b) se hizo el año 2004 con el Very Large Telescope en Chile, casi dos décadas antes que James Webb se lanzara. El error fue detectado por astrónomos en Twitter en cuestión de minutos, y las acciones de Alphabet (matriz de Google) cayeron un 7%, eliminando 100.000 millones de dólares de valor de mercado en un solo día.

Galactica de Meta: Ciencia de ficción. Meta lanzó a un modelo nombrado Galactica, diseñado específicamente para ayudar científicos a escribir resúmenes y artículos. Duró sólo tres días en línea. El modelo generaba artículos que parecían científicamente rigurosos pero que proponían cosas como “comer cristal triturado es beneficiosa para la salud” o inventaba fórmulas matemáticas que no tenían ningún sentido bajo la apariencia de ecuaciones complejas.

Los riesgos sistémicos: Cuando la alucinación se vuelve peligrosa

Más allá de anécdotas sobre telescopios o billetes de avión, las alucinaciones plantean riesgos estructurales para la sociedad.

1. La desinformación automatizada. La capacidad de estos modelos para generar noticias falsas es inmensa. Un bot puede alucinar una crisis política en un país pequeño, citando fuentes que no existen, y publicarlo en centenares de webs de noticias falsas en según. Como el texto no tiene las faltas de ortografía típicas del spam tradicional, el lector baja la guardia.

2. Medicina: El diagnóstico “probable”. En el ámbito médico, una IA podría recibir una lista de síntomas y, a causa de su naturaleza predictiva, “completar” el diagnóstico con una enfermedad que encaja estadísticamente pero que ignora un dato clave del paciente. Un estudio publicado en Nature advirtió que algunos modelos tendían a “inventar” efectos secundarios de medicamentos basándose sólo en el sonido del nombre químico del fármaco.

3. Seguridad y vehículos autónomos. La alucinación no es exclusiva del texto. En la visión por computador, un sistema puede “alucinar” a un peatón donde sólo hay una mancha de luz, o peor, no ver un obstáculo porque su modelo predictivo decide que “no es probable” que haya un camión atravesado en la autopista en aquel momento.

Estrategias de combate: ¿Podemos cuidar la IA?

La industria está trabajando en lo que se llama “Guardrails” (barandillas de seguridad) y nuevas arquitecturas para minimizar estos errores.

RAG: El examen con libro abierto. La técnica más eficaz hoy día es el RAG (Retrieval-Augmented Generation). En lugar de confiar en la “memoria” del modelo, el sistema hace el siguiente:

1. Recibe la pregunta del usuario.

2. Busca en una base de datos externa de confianza (documentos oficiales, Wikipedia verificada, archivos de la empresa).

3. Entrega la información encontrada al modelo de lenguaje.

4. Le dice en el modelo: “Responde al usuario utilizando sólo esta información”.

Eso reduce drásticamente las alucinaciones porque el modelo ya no tiene que inventar; tiene que resumir.

La cadena de pensamiento (Chain of Thought). Se ha descubierto que si pides a la IA que “piense paso a paso”, las alucinaciones bajan. Al obligar al modelo a desglosar su lógica, es más probable que él mismo encuentre una inconsistencia. Por ejemplo, si le pides un cálculo complejo, es mejor decir: “Calcúlalo paso a paso y comprueba cada resultado” que simplemente decir “Dame el resultado”.

El papel de la creatividad: El error como maestro

Es fascinante notar que, sin la capacidad de alucinar, la IA sería inútil para tareas creativas. Si pedimos a una IA que “escriba un cuento sobre un dragón que vive a la Sagrada Familia”, le estamos pidiendo, literalmente, que alucine.

La alucinación es lo que permite en herramientas como Midjourney o DALL-E crear imágenes nunca vistas. Un diseñador puede aprovechar una “alucinación visual” para encontrar una forma orgánica para un nuevo edificio que nunca se le habría ocurrido a un humano. En este sentido, la alucinación no es un error del sistema, sino su característica fundamental. El problema no es que la IA tenga imaginación, el problema es que no sabe cuándo lo tiene que apagar.

El retorno de la responsabilidad humana

Las alucinaciones de la IA nos han obligado a reevaluar nuestra relación con la información. Durante décadas, hemos asumido que lo que salía de una pantalla de ordenador era producto de una lógica binaria infalible. Ahora sabemos que estamos ante una tecnología que se parece más a un orador elocuente pero poco fiable que a una calculadora.

La alucinación nos recuerda que el “filtro de verdad” tiene que ser siempre humano. La tecnología puede procesar billones de datos, pero no tiene lo que los filósofos denominan “intencionalidad”: no sabe qué quiere decir que una cosa sea verdad.

En la era de la IA generativa, nuestro papel ha cambiado. Ya no somos sólo operadores; somos editores. Somos los jueces que, como P. Kevin Castel, tenemos que mirar los precedentes y decir: “Eso no es real”. La inteligencia artificial nos ofrece un espejo de todo el conocimiento humano, pero en este espejo, a veces, aparecen monstruos y castillos de cartas que sólo nosotros tenemos el poder de desmontar.