Cada vez que un sistema como ChatGPT responde “tienes toda la razón, disculpa mi error”, ocurre algo curioso: el usuario siente que dialoga con alguien que piensa, que se equivoca, que se arrepiente. Esa sensación es precisamente el problema. Hemos bautizado a estas máquinas con la palabra más prestigiosa de nuestra especie, inteligencia, y al hacerlo le concedimos una mente que no tiene. Vale la pena defender una tesis incómoda: estos sistemas no son inteligentes, son astutos. Producen la apariencia del saber sin el saber. Y la diferencia, lejos de ser un capricho terminológico, determina cuánto deberíamos fiarnos de ellos.
El que no sabe que miente
Empecemos por lo que el sentido común llama “mentiras” y la industria, con eufemismo elegante, “alucinaciones”. Conviene ser precisos, porque aquí se juega todo el argumento. Para el usuario que recibe un dato falso con tono de certeza y actúa en consecuencia, el efecto es idéntico al de una mentira: engaño, daño, falsedad tomada por verdad. En ese plano, quien protesta “¡me mintió!” tiene toda la razón.
Pero el mecanismo revela algo más inquietante que la mentira. Mentir exige conocer la verdad y decidir ocultarla; es un acto cognitivo que, paradójicamente, respeta la verdad lo suficiente como para esconderla. La máquina no hace eso, porque no sabe nada. Genera la secuencia de palabras estadísticamente más probable sin representación alguna de lo verdadero o lo falso. El filósofo Harry Frankfurt acuñó el término exacto para esto en su célebre ensayo On Bullshit: a diferencia del mentiroso, el charlatán no se opone a la verdad, simplemente le es indiferente, y por eso resulta un enemigo mayor de ella. En 2024, tres investigadores de la Universidad de Glasgow aplicaron esta categoría directamente a los modelos de lenguaje en un artículo de la revista Ethics and Information Technology titulado, sin rodeos, “ChatGPT is bullshit”: sostienen que llamar “alucinación” a estos errores es engañoso, porque el sistema es, en un sentido importante, indiferente a la verdad de lo que produce. No miente: parlotea con aplomo.
Y no se trata de fallos marginales. Un estudio de Stanford (RegLab e Instituto de IA Centrada en lo Humano), publicado en el Journal of Legal Analysis en 2024, midió tasas de alucinación de entre 69 % y 88 % en consultas jurídicas específicas a modelos punteros, que además carecen de autoconciencia sobre sus errores y tienden a reforzar suposiciones legales incorrectas del usuario. Es decir: no solo se equivocan a menudo, sino que no saben que se equivocan y encima ratifican el error de quien pregunta. Eso no es inteligencia. Es astucia: la habilidad de sonar convincente con independencia de la verdad.