Em 2025, um pesquisador da OpenAI chamado Adam Tauman Kalai fez um teste simples com um chatbot popular: perguntou o título da própria tese de doutorado. O sistema respondeu imediatamente, com total segurança — e errou. Perguntou de novo, de outra forma: o chatbot deu uma segunda resposta, diferente da primeira, também errada. Uma terceira tentativa produziu uma terceira resposta, igualmente incorreta. O mesmo padrão se repetiu quando ele perguntou sua própria data de nascimento: três respostas diferentes, três erros.
Esse fenômeno tem nome técnico — alucinação — e já é conhecido o suficiente para virar piada recorrente sobre inteligência artificial. O que a maioria das explicações populares erra é o motivo. Não é que o sistema “não entende o que está dizendo” ou “inventa coisas aleatoriamente”. Um artigo publicado pela OpenAI em setembro de 2025, com Kalai como um dos autores, apresenta uma explicação mais precisa e mais desconfortável: a alucinação não é um defeito acidental do treinamento desses modelos — é o resultado matematicamente esperado da forma como eles são construídos e, principalmente, da forma como são avaliados.
O primeiro motivo: alguns fatos simplesmente não têm como ser aprendidos direito
A primeira parte da explicação vem de como um modelo de linguagem aprende, no estágio chamado de pré-treinamento: ele processa uma quantidade enorme de texto e aprende a prever qual é a palavra mais provável de vir a seguir, dado tudo o que veio antes. Esse processo funciona muito bem para captar padrões que se repetem com frequência — regras gramaticais, estrutura de frases, fatos amplamente documentados. O problema aparece com informações que aparecem raramente nos dados de treino, como uma data de nascimento pouco divulgada ou o título exato de uma tese acadêmica pouco citada.
O artigo formaliza essa intuição de um jeito elegante. Os autores mostram que gerar uma resposta correta é, matematicamente, pelo menos tão difícil quanto resolver um problema mais simples: decidir se uma afirmação dada é verdadeira ou falsa (um teste que os pesquisadores chamam de “Is-It-Valid”). Mais precisamente, a taxa de erro na geração de texto tende a ser pelo menos duas vezes maior que a taxa de erro nesse teste de validação mais simples — o que quer dizer que, se existe qualquer dificuldade em simplesmente reconhecer se um fato está certo, gerar esse fato do zero é uma tarefa ainda mais sujeita a erro.
Isso leva a uma conclusão que os autores tornam concreta com um exemplo numérico: se 20% dos fatos de um determinado tipo aparecem uma única vez nos dados de treinamento — os chamados “fatos singleton” —, é esperado que pelo menos 20% das respostas do modelo sobre esse tipo de fato sejam alucinadas. Essa estimativa se apoia em uma técnica estatística clássica (a estimativa de massa ausente de Good-Turing, usada há décadas para prever a frequência de eventos nunca vistos a partir de eventos raros já observados). Na prática, isso significa que uma certa taxa de alucinação sobre informações obscuras não é um bug que pode simplesmente ser “consertado” com mais dados de boa qualidade — é uma consequência estatística inerente a tentar generalizar a partir de exemplos escassos.
O segundo motivo, mais importante: o modelo é treinado para nunca dizer “não sei”
A primeira explicação já seria suficiente para gerar algum nível de erro ocasional. Mas ela não explica por que os modelos, mesmo depois de passar por um processo adicional de ajuste (o pós-treinamento, feito especificamente para corrigir esse tipo de comportamento), continuam produzindo respostas erradas com total confiança em vez de admitir que não sabem. A resposta para isso, segundo o artigo, está em como esses sistemas são avaliados e comparados entre si.
A analogia que os próprios pesquisadores usam é a de uma prova de múltipla escolha: se você não sabe a resposta mas arrisca um palpite, tem uma chance de acertar por sorte. Deixar a questão em branco garante nota zero. A maioria dos testes padronizados usados para comparar modelos de linguagem — os chamados benchmarks, que funcionam como rankings competitivos entre diferentes sistemas de IA — segue exatamente essa lógica binária: pontuação por resposta certa, zero por resposta errada, e crucialmente, zero também por dizer “não tenho certeza suficiente para responder isso”. O artigo chama esse desenho de avaliação de uma “epidemia” de penalizar respostas honestas sobre incerteza.
O resultado é previsível: um modelo otimizado para ter boa performance nesses rankings aprende, ao longo do treinamento, que arriscar uma resposta plausível é estatisticamente melhor do que admitir dúvida — mesmo que essa resposta arriscada esteja errada boa parte do tempo. Os pesquisadores ilustram isso com dados de um teste chamado SimpleQA comparando dois modelos da própria OpenAI: um modelo (identificado como gpt-5-thinking-mini) se absteve de responder em 52% das perguntas, errou em 26% e acertou 22%; outro modelo mais antigo (o4-mini) quase nunca se absteve — só em 1% dos casos —, mas errou em 75% das perguntas, contra 24% de acerto. O modelo que “sabe admitir que não sabe” erra proporcionalmente menos quando de fato responde — mas um sistema de pontuação simples, que só soma respostas certas, faria o segundo modelo parecer superior, porque ele arrisca mais palpites e por pura probabilidade acerta mais respostas em termos absolutos.
Por que isso não é só um detalhe técnico
Essa segunda explicação é, na prática, a mais importante das duas, porque aponta para uma causa que pode ser corrigida — não por mudar como o modelo é treinado internamente, mas por mudar como ele é avaliado. Os autores do artigo não propõem criar mais um teste específico de “detecção de alucinação” (o que, segundo eles, só adicionaria mais um ranking à pilha sem resolver o problema de raiz). A proposta é mais direta: modificar os critérios de pontuação dos testes já existentes e amplamente usados, para que penalizem um erro dito com confiança mais do que penalizam a incerteza reconhecida — e para que deem crédito parcial a respostas que expressam dúvida de forma apropriada, em vez de tratar “não sei” exatamente como uma resposta errada.
A lógica por trás disso é simples de entender: enquanto os principais rankings usados para julgar qual modelo de IA é “melhor” continuarem recompensando quem arrisca palpites por cima de quem reconhece os próprios limites, as empresas que desenvolvem esses sistemas terão um incentivo estrutural para treinar modelos mais “confiantes” — não porque isso os torna mais precisos, mas porque isso os torna mais competitivos nos números que o público e o mercado usam para comparar produtos de IA. Os autores descrevem o problema como fundamentalmente sociotécnico: a solução não está apenas em melhorar o algoritmo por trás do modelo, mas em mudar as regras do jogo pelas quais o sucesso desses sistemas é medido.
Isso tem uma implicação prática direta para quem usa ferramentas de IA no dia a dia: uma resposta dada com tom confiante não é, por si só, evidência de que ela está correta — é, em boa parte, o comportamento que o próprio processo de treinamento e avaliação foi estruturado para produzir. Para perguntas sobre fatos obscuros, pouco documentados ou muito específicos — exatamente o tipo de pergunta que levou Adam Tauman Kalai a receber três respostas diferentes e três erros sobre sua própria vida — vale menos confiar no tom da resposta e mais verificar a informação de forma independente.
Fontes citadas neste artigo:
- OpenAI — “Why Language Models Hallucinate” (setembro de 2025)
- Kalai, Nachum, Vempala, Zhang — “Why Language Models Hallucinate” (arXiv:2509.04664, 2025)
- MarkTechPost — “From Pretraining to Post-Training: Why Language Models Hallucinate and How Evaluation Methods Reinforce the Problem” (2025)