ConfQA : Répondez uniquement si vous êtes certain

Résumé

Peut-on enseigner aux modèles de langage de grande taille (LLMs) à s’abstenir de produire des affirmations factuelles erronées ? Dans cet article, nous présentons une stratégie de fine-tuning que nous appelons ConfQA, capable de réduire le taux d’hallucination de 20-40 % à moins de 5 % sur plusieurs benchmarks de factualité. L’idée centrale est simple : lorsque le LLM répond correctement à une question, il est entraîné à poursuivre avec la réponse ; sinon, il est entraîné à admettre « Je ne suis pas sûr ». Cependant, deux facteurs clés rendent cet entraînement particulièrement efficace. Premièrement, nous introduisons une incitation atténuante « répondez uniquement si vous êtes confiant » pour guider explicitement le comportement, sans laquelle le taux d’hallucination reste élevé, entre 15 % et 25 %. Deuxièmement, nous exploitons des affirmations factuelles simples, en particulier des valeurs d’attributs issues de graphes de connaissances, pour aider les LLMs à calibrer leur confiance, ce qui permet une généralisation robuste à travers les domaines et les types de questions. En nous appuyant sur cette idée, nous proposons le cadre Dual Neural Knowledge, qui sélectionne de manière fluide entre les connaissances neuronales paramétrées en interne et les connaissances symboliques enregistrées en externe, en fonction de la confiance de ConfQA. Ce cadre permet d’atteindre des gains de précision potentiels dépassant 95 %, tout en réduisant les recherches externes inutiles de plus de 30 %.

English

Can we teach Large Language Models (LLMs) to refrain from hallucinating factual statements? In this paper we present a fine-tuning strategy that we call ConfQA, which can reduce hallucination rate from 20-40% to under 5% across multiple factuality benchmarks. The core idea is simple: when the LLM answers a question correctly, it is trained to continue with the answer; otherwise, it is trained to admit "I am unsure". But there are two key factors that make the training highly effective. First, we introduce a dampening prompt "answer only if you are confident" to explicitly guide the behavior, without which hallucination remains high as 15%-25%. Second, we leverage simple factual statements, specifically attribute values from knowledge graphs, to help LLMs calibrate the confidence, resulting in robust generalization across domains and question types. Building on this insight, we propose the Dual Neural Knowledge framework, which seamlessly select between internally parameterized neural knowledge and externally recorded symbolic knowledge based on ConfQA's confidence. The framework enables potential accuracy gains to beyond 95%, while reducing unnecessary external retrievals by over 30%.

ConfQA : Répondez uniquement si vous êtes certain

ConfQA: Answer Only If You Are Confident

Résumé

Support