O que é alucinação em IA e por que o modelo chuta em vez de dizer “não sei”

Alucinação é quando um modelo de linguagem afirma, com a mesma segurança com que acerta, algo plausível e falso: uma data, uma citação, um número, uma política que não existe. O que a torna perigosa não é o erro, que todo sistema comete, e sim a ausência de sinal: a resposta errada e a certa chegam com o mesmo tom.

Os pesquisadores Adam Kalai, Ofir Nachum, Santosh Vempala e Edwin Zhang abrem o artigo sobre o tema com um teste simples. Perguntaram a um modelo de código aberto de ponta o aniversário de um dos autores, pedindo a resposta só se ele soubesse. Em três tentativas, ele deu três datas diferentes, as três erradas. Ninguém havia dito a ele a data, e ele respondeu mesmo assim.

Em RAG, em agentes e em qualquer chatbot de atendimento, o problema é o mesmo: o modelo completa a frase com o que é provável, não com o que foi verificado.

O artigo separa a origem em duas etapas, e a distinção muda o que se pode fazer.

1. 01

   No pré-treino: fatos que apareceram uma vez

   Quando um fato não tem padrão para aprender, como um aniversário, o modelo não tem como separar o verdadeiro do plausível. Os autores mostram que a taxa de alucinação do modelo base é, no mínimo, a fração dos fatos que apareceram uma única vez nos dados. No exemplo deles, se 20% dos aniversários aparecem uma só vez, espera-se que o modelo erre ao menos 20% deles.

2. 02

   No pós-treino: a prova que premia o chute

   Mesmo depois de refinado, o modelo continua chutando, e o artigo aponta o motivo: a maior parte das avaliações dá nota binária, certo ou errado, sem crédito para “não sei”. Nesse desenho, responder sempre é a melhor estratégia, e um modelo otimizado para essas provas aprende a ser bom candidato, não a ser honesto.

Na tabela de avaliações que os autores examinaram, quase todas as principais (GPQA, MMLU-Pro, SWE-bench, entre outras) usam nota binária e não dão nenhum crédito a quem se abstém. A conclusão deles é que não basta criar mais uma avaliação de alucinação, porque ela fica soterrada pelas avaliações principais, que continuam premiando o chute.

Desmontado até o osso, o problema muda de natureza. Um modelo que chuta quando não sabe não está quebrado: está fazendo exatamente o que o placar que o formou pede. Alucinar é a jogada ótima numa prova em que errar e não responder valem o mesmo zero.

Se a premissa é essa, a pergunta “como eliminar a alucinação?” é a pergunta errada. A pergunta útil é o que a sua empresa dá de nota a uma resposta errada e a um “não sei”. O desenho da prova se repete dentro das empresas: a meta de resolução automática, a métrica de tempo de resposta e o painel de “conversas encerradas pelo bot” são notas binárias. Nesses painéis, a resposta errada e o encaminhamento a uma pessoa tendem a valer o mesmo zero. O fluxo premia o chute, o modelo aprende o que o fluxo premia, e o erro chega ao cliente com o logotipo da empresa.

O artigo formaliza a conta. Dando 1 ponto ao acerto e 0 ao “não sei”, e descontando k pontos de quem erra, responder só compensa quando a confiança supera k/(1+k): 50% para penalidade 1, 75% para 3, 90% para 9. Quanto mais caro o erro, mais alto o limite de confiança para responder. A proposta dos autores é que as avaliações declarem essa meta no próprio enunciado, como faziam provas que descontavam o erro.

O que dá para fazer, na ordem em que custa menos

1. 01

   Dar permissão para dizer “não sei”

   A documentação da Anthropic indica como primeira técnica deixar explícito que o modelo pode admitir incerteza, e diz que isso pode reduzir muito a informação falsa. É a versão em prompt da meta de confiança do artigo.

2. 02

   Ancorar em trechos literais

   Em documentos longos, pedir primeiro as citações palavra por palavra e só então a análise, baseada nelas. É a lógica do RAG: a resposta nasce do documento, não da memória do modelo.

3. 03

   Exigir a citação de cada afirmação

   Depois do rascunho, pedir que o modelo ache, para cada afirmação, um trecho que a sustente, e retire a que não achar. A resposta passa a ser auditável.

4. 04

   Comparar várias execuções

   Rodar a mesma pergunta mais de uma vez e desconfiar quando as respostas divergem. Inconsistência é sinal de chute.

A própria Anthropic ressalva que essas técnicas reduzem a alucinação e não a eliminam, e que a informação crítica deve ser validada. Para saber quanto elas reduzem no seu caso, o instrumento são os evals: uma bateria de perguntas reais em que “não sei” tem nota própria. E o que não se resolve na leitura da resposta se resolve no desenho do fluxo: as ações que não se desfazem passam por uma pessoa e por guardrails.

É o raciocínio por trás do Insight sobre a IA que não mentiu, só bateu a meta e do texto que define o que o chatbot não deve falar: o comportamento do sistema reflete o que a empresa mede e escreve.