ConfQA: Responda Apenas Se Estiver Confiante

Resumo

Podemos ensinar Modelos de Linguagem de Grande Escala (LLMs) a evitar alucinar afirmações factuais? Neste artigo, apresentamos uma estratégia de ajuste fino que chamamos de ConfQA, que pode reduzir a taxa de alucinação de 20-40% para menos de 5% em vários benchmarks de factualidade. A ideia central é simples: quando o LLM responde corretamente a uma pergunta, ele é treinado para continuar com a resposta; caso contrário, ele é treinado a admitir "Não tenho certeza". Mas há dois fatores-chave que tornam o treinamento altamente eficaz. Primeiro, introduzimos um prompt de atenuação "responda apenas se estiver confiante" para orientar explicitamente o comportamento, sem o qual a alucinação permanece alta, em torno de 15%-25%. Segundo, aproveitamos afirmações factuais simples, especificamente valores de atributos de grafos de conhecimento, para ajudar os LLMs a calibrar a confiança, resultando em uma generalização robusta entre domínios e tipos de perguntas. Com base nessa percepção, propomos o framework Dual Neural Knowledge, que seleciona de forma contínua entre o conhecimento neural parametrizado internamente e o conhecimento simbólico registrado externamente, com base na confiança do ConfQA. O framework permite ganhos potenciais de precisão além de 95%, enquanto reduz as recuperações externas desnecessárias em mais de 30%.

English

Can we teach Large Language Models (LLMs) to refrain from hallucinating factual statements? In this paper we present a fine-tuning strategy that we call ConfQA, which can reduce hallucination rate from 20-40% to under 5% across multiple factuality benchmarks. The core idea is simple: when the LLM answers a question correctly, it is trained to continue with the answer; otherwise, it is trained to admit "I am unsure". But there are two key factors that make the training highly effective. First, we introduce a dampening prompt "answer only if you are confident" to explicitly guide the behavior, without which hallucination remains high as 15%-25%. Second, we leverage simple factual statements, specifically attribute values from knowledge graphs, to help LLMs calibrate the confidence, resulting in robust generalization across domains and question types. Building on this insight, we propose the Dual Neural Knowledge framework, which seamlessly select between internally parameterized neural knowledge and externally recorded symbolic knowledge based on ConfQA's confidence. The framework enables potential accuracy gains to beyond 95%, while reducing unnecessary external retrievals by over 30%.

ConfQA: Responda Apenas Se Estiver Confiante

ConfQA: Answer Only If You Are Confident

Resumo

Support