ConfQA: Rispondi Solo Se Sei Sicuro

Abstract

Possiamo insegnare ai Large Language Model (LLM) a evitare di produrre affermazioni fattuali allucinate? In questo articolo presentiamo una strategia di fine-tuning che chiamiamo ConfQA, in grado di ridurre il tasso di allucinazione dal 20-40% a meno del 5% su molteplici benchmark di fattualità. L'idea di base è semplice: quando un LLM risponde correttamente a una domanda, viene addestrato a continuare con la risposta; altrimenti, viene addestrato ad ammettere "Non sono sicuro". Tuttavia, ci sono due fattori chiave che rendono l'addestramento altamente efficace. Innanzitutto, introduciamo un prompt attenuante "rispondi solo se sei sicuro" per guidare esplicitamente il comportamento, senza il quale l'allucinazione rimane alta al 15%-25%. In secondo luogo, sfruttiamo semplici affermazioni fattuali, in particolare valori di attributi provenienti da grafi di conoscenza, per aiutare gli LLM a calibrare la confidenza, ottenendo una generalizzazione robusta tra domini e tipi di domande. Basandoci su questa intuizione, proponiamo il framework Dual Neural Knowledge, che seleziona in modo fluido tra la conoscenza neurale parametrizzata internamente e la conoscenza simbolica registrata esternamente, in base alla confidenza di ConfQA. Il framework consente potenziali guadagni di accuratezza oltre il 95%, riducendo al contempo le ricerche esterne non necessarie di oltre il 30%.

English

Can we teach Large Language Models (LLMs) to refrain from hallucinating factual statements? In this paper we present a fine-tuning strategy that we call ConfQA, which can reduce hallucination rate from 20-40% to under 5% across multiple factuality benchmarks. The core idea is simple: when the LLM answers a question correctly, it is trained to continue with the answer; otherwise, it is trained to admit "I am unsure". But there are two key factors that make the training highly effective. First, we introduce a dampening prompt "answer only if you are confident" to explicitly guide the behavior, without which hallucination remains high as 15%-25%. Second, we leverage simple factual statements, specifically attribute values from knowledge graphs, to help LLMs calibrate the confidence, resulting in robust generalization across domains and question types. Building on this insight, we propose the Dual Neural Knowledge framework, which seamlessly select between internally parameterized neural knowledge and externally recorded symbolic knowledge based on ConfQA's confidence. The framework enables potential accuracy gains to beyond 95%, while reducing unnecessary external retrievals by over 30%.

ConfQA: Rispondi Solo Se Sei Sicuro

ConfQA: Answer Only If You Are Confident

Abstract

Support