Alucinações Minam a Confiança; Metacognição é o Caminho a Seguir

Resumo

Apesar dos avanços significativos na confiabilidade factual, os erros — frequentemente denominados alucinações — continuam a ser uma grande preocupação para a IA generativa, especialmente à medida que se espera cada vez mais que os LLMs sejam úteis em configurações mais complexas ou nuances. No entanto, mesmo no cenário mais simples — a resposta a perguntas factuais com uma verdade fundamental clara — os modelos de ponta, sem ferramentas externas, continuam a alucinar. Defendemos que a maioria dos ganhos de factualidade neste domínio resultou da expansão do limite do conhecimento do modelo (codificando mais factos) e não da melhoria da consciência sobre esse limite (distinguir o conhecido do desconhecido). Conjecturamos que este último é inerentemente difícil: os modelos podem carecer do poder discriminativo para separar perfeitamente verdades de erros, criando um compromisso inevitável entre eliminar alucinações e preservar a utilidade. Este compromisso dissolve-se sob um enquadramento diferente. Se entendermos as alucinações como erros confiantes — informações incorretas transmitidas sem a qualificação adequada — surge um terceiro caminho para além da dicotomia responder ou abster-se: expressar incerteza. Propomos a *incerteza fidedigna*: alinhar a incerteza linguística com a incerteza intrínseca. Esta é uma faceta da metacognição — a capacidade de estar consciente da própria incerteza e de agir em conformidade. Para a interação direta, agir sobre a incerteza significa comunicá-la honestamente; para sistemas agentes, ela torna-se a camada de controlo que governa quando pesquisar e em que confiar. A metacognição é, portanto, essencial para que os LLMs sejam simultaneamente confiáveis e capazes; concluímos destacando problemas em aberto para o progresso em direção a este objetivo.

English

Despite significant strides in factual reliability, errors -- often termed hallucinations -- remain a major concern for generative AI, especially as LLMs are increasingly expected to be helpful in more complex or nuanced setups. Yet even in the simplest setting -- factoid question-answering with clear ground truth-frontier models without external tools continue to hallucinate. We argue that most factuality gains in this domain have come from expanding the model's knowledge boundary (encoding more facts) rather than improving awareness of that boundary (distinguishing known from unknown). We conjecture that the latter is inherently difficult: models may lack the discriminative power to perfectly separate truths from errors, creating an unavoidable tradeoff between eliminating hallucinations and preserving utility. This tradeoff dissolves under a different framing. If we understand hallucinations as confident errors -- incorrect information delivered without appropriate qualification -- a third path emerges beyond the answer-or-abstain dichotomy: expressing uncertainty. We propose faithful uncertainty: aligning linguistic uncertainty with intrinsic uncertainty. This is one facet of metacognition -- the ability to be aware of one's own uncertainty and to act on it. For direct interaction, acting on uncertainty means communicating it honestly; for agentic systems, it becomes the control layer governing when to search and what to trust. Metacognition is thus essential for LLMs to be both trustworthy and capable; we conclude by highlighting open problems for progress towards this objective.