Alucinações: por que a IA inventa e o que realmente reduz isso

Quando um modelo de linguagem inventa um processo judicial que nunca existiu, cita um artigo científico fantasma ou afirma com serenidade absoluta uma data errada, a reação comum é tratar isso como defeito, um bug que a próxima versão vai corrigir. Essa leitura é confortável e errada. A alucinação não é uma falha acidental do sistema. É a expressão mais honesta do que o sistema faz. Um modelo generativo foi construído para produzir a continuação mais provável de um texto, e a continuação mais provável nem sempre é verdadeira. Confundir esses dois objetivos é a raiz de quase todo mal-entendido sobre alucinações de IA.

O objetivo nunca foi a verdade

Vale insistir no que um modelo de linguagem otimiza. Durante o pré-treino, ele aprende a prever o próximo token diante de um contexto, ajustando bilhões de parâmetros para minimizar o erro entre o que previu e o que aparecia de fato no corpus. Não existe, em nenhum ponto desse processo, uma variável chamada verdade. Existe plausibilidade estatística: dada esta sequência de palavras, qual é a próxima palavra mais coerente com os padrões vistos no treino?

Na maior parte do tempo, plausível e verdadeiro coincidem, porque o texto humano tende a ser factual e o padrão mais provável costuma refletir o mundo. Mas essa coincidência é uma correlação, não uma garantia. Quando o modelo encontra uma região onde não tem sinal suficiente, uma referência obscura, um número específico, um nome próprio raro, ele não para. Ele continua gerando, porque gerar é a única coisa que sabe fazer. E preenche a lacuna com o que soa certo. O resultado tem a forma de um fato. Só não tem o conteúdo.

Aqui está o ponto que quase ninguém internaliza: o modelo não distingue de forma confiável, no momento da geração, entre um trecho que reproduz algo memorizado do treino e um trecho que ele acabou de fabricar. Os dois saem do mesmo mecanismo, com a mesma cara de confiança. Não existe na saída um rótulo que separe “isso aqui eu recuperei” de “isso aqui eu inventei”. A fabricação é indistinguível da recuperação do lado de fora, e boa parte do tempo também do lado de dentro.

Fluência não é evidência

O que torna a alucinação perigosa não é o erro em si, é a embalagem. Um humano que não sabe algo hesita, muda o tom, gagueja, usa ressalvas. O modelo não carrega esses sinais. Ele produz a mentira com a mesma cadência impecável com que produz a verdade, porque a fluência é uma propriedade do gerador de linguagem, não um indicador do valor de verdade do conteúdo.

Isso mexe com um heurístico profundo do nosso cérebro. Aprendemos a associar articulação, segurança e coerência gramatical a competência e a conhecimento. Faz sentido evolutivo: entre humanos, quem domina um assunto costuma falar dele com desenvoltura. Mas essa correlação se rompe por completo diante de uma máquina cujo talento central é justamente a desenvoltura. O modelo é um orador nato sobre qualquer tema, inclusive os que desconhece. A confiança aparente do texto gerado não carrega, por si só, nenhuma garantia sobre a probabilidade de ele estar certo. Tratar fluência como evidência é o erro cognitivo que transforma uma limitação técnica conhecida em prejuízo real.

Há um agravante estrutural que reforça isso. Quando o modelo passa pela etapa de ajuste com feedback humano, ele é recompensado por respostas que os avaliadores consideram úteis, completas e seguras de si. Uma resposta que admite ignorância tende a agradar menos do que uma resposta assertiva e bem formada. O próprio processo de alinhamento, portanto, pode empurrar o modelo na direção de soar confiante mesmo quando deveria hesitar. Não porque alguém queira isso, mas porque a métrica de agrado premia a postura, não a calibração.

Por que aumentar a escala não resolve

A tentação seguinte é imaginar que modelos maiores, treinados com mais dados, simplesmente alucinam menos até o problema desaparecer. Modelos maiores de fato erram menos em muitas tarefas, porque cobrem mais do espaço de fatos com sinal denso. Mas isso reduz a frequência, não elimina a natureza do fenômeno. O mecanismo permanece: gerar o mais provável diante de incerteza. Sempre haverá regiões de baixo sinal, perguntas sobre o específico, o recente, o local, o privado, onde o modelo não tem base e mesmo assim vai completar a sequência.

Pior: escala pode tornar o problema mais insidioso. Um modelo mais capaz alucina de forma mais convincente, com detalhes mais ricos e internamente consistentes. O erro grosseiro é fácil de pegar. O erro sofisticado, plausível em cada camada, formatado como uma citação perfeita com autores, ano e periódico, é o que passa pela revisão humana desatenta. Capacidade e credibilidade do erro andam juntas.

O que de fato reduz alucinações

Se a causa é estrutural, as mitigações que funcionam não tentam ensinar o modelo a saber mais. Elas mudam a tarefa para que a resposta deixe de depender do que ele memorizou.

A primeira e mais eficaz é ancorar a geração em fontes recuperadas. Em vez de perguntar ao modelo o que ele sabe, você coloca no contexto os documentos relevantes e pede que ele responda com base neles, o padrão conhecido como geração aumentada por recuperação. Isso não apaga a alucinação, o modelo ainda pode extrapolar além do que a fonte diz, mas transforma um problema de memória num problema de leitura, que é muito mais tratável e, sobretudo, verificável. Quando a resposta aponta para um trecho, dá para conferir o trecho.

A segunda é exigir atribuição e tornar a verificação barata. Um sistema que cita a origem de cada afirmação, com o texto de apoio à mão, muda a economia do erro: em vez de confiar, você checa. O objetivo deixa de ser um modelo que nunca erra e passa a ser um fluxo em que o erro é detectável antes de causar dano.

A terceira é desenhar o sistema para permitir a abstenção. Um modelo que pode responder “não encontrei base para isso” é mais útil do que um que sempre responde. Isso raramente emerge sozinho, pelo motivo do alinhamento já discutido, então precisa ser construído: com limiares, com verificação cruzada entre a resposta e as fontes, com prompts que autorizam explicitamente o não sei.

E a quarta, menos glamourosa e mais decisiva, é o desenho do processo em torno do modelo. Manter humano no circuito onde o custo do erro é alto. Restringir o domínio para que o modelo opere onde tem sinal denso. Nunca usar geração livre como fonte de verdade em decisões jurídicas, médicas ou financeiras sem uma camada de verificação independente. A mitigação mais confiável de alucinação não está dentro do modelo. Está na arquitetura de quem o usa.

Minha posição

Alucinação não é um estágio que a tecnologia vai superar; é uma propriedade do tipo de coisa que um modelo generativo é. Tratar isso como bug temporário e apostar num conserto que não vem, é organizar processos inteiros sobre uma promessa falsa. Tratar como característica estrutural, ao contrário, é libertador: você para de exigir do modelo o que ele não pode dar, a garantia de verdade, e passa a extrair o que ele dá de sobra, a fluência, a cobertura, a velocidade, cercando isso com verificação onde importa.

O profissional maduro em IA não é o que confia no modelo. É o que sabe exatamente onde não confiar e construiu o sistema para que essa desconfiança seja barata e automática. A pergunta certa nunca foi como fazer a IA parar de inventar. Foi como projetar tudo ao redor sabendo que ela vai.