ConfQA: Antworten Sie nur, wenn Sie sich sicher sind.

Zusammenfassung

Können wir große Sprachmodelle (LLMs) dazu bringen, auf das Erfinden faktischer Aussagen zu verzichten? In diesem Artikel stellen wir eine Feinabstimmungsstrategie vor, die wir ConfQA nennen und die die Halluzinationsrate von 20-40 % auf unter 5 % über mehrere Faktizitäts-Benchmarks hinweg reduzieren kann. Die Kernidee ist einfach: Wenn das LLM eine Frage korrekt beantwortet, wird es darauf trainiert, die Antwort fortzusetzen; andernfalls wird es darauf trainiert, zuzugeben: „Ich bin unsicher“. Es gibt jedoch zwei Schlüsselfaktoren, die das Training besonders effektiv machen. Erstens führen wir einen dämpfenden Prompt ein: „Antworte nur, wenn du dir sicher bist“, um das Verhalten explizit zu steuern. Ohne diesen bleibt die Halluzinationsrate mit 15-25 % hoch. Zweitens nutzen wir einfache faktische Aussagen, insbesondere Attributwerte aus Wissensgraphen, um den LLMs zu helfen, das Vertrauen zu kalibrieren, was zu einer robusten Generalisierung über Domänen und Fragentypen hinweg führt. Aufbauend auf dieser Erkenntnis schlagen wir das Dual Neural Knowledge Framework vor, das nahtlos zwischen intern parametrisiertem neuronalem Wissen und extern aufgezeichnetem symbolischem Wissen basierend auf dem Vertrauen von ConfQA auswählt. Das Framework ermöglicht potenzielle Genauigkeitssteigerungen auf über 95 %, während unnötige externe Abfragen um mehr als 30 % reduziert werden.

English

Can we teach Large Language Models (LLMs) to refrain from hallucinating factual statements? In this paper we present a fine-tuning strategy that we call ConfQA, which can reduce hallucination rate from 20-40% to under 5% across multiple factuality benchmarks. The core idea is simple: when the LLM answers a question correctly, it is trained to continue with the answer; otherwise, it is trained to admit "I am unsure". But there are two key factors that make the training highly effective. First, we introduce a dampening prompt "answer only if you are confident" to explicitly guide the behavior, without which hallucination remains high as 15%-25%. Second, we leverage simple factual statements, specifically attribute values from knowledge graphs, to help LLMs calibrate the confidence, resulting in robust generalization across domains and question types. Building on this insight, we propose the Dual Neural Knowledge framework, which seamlessly select between internally parameterized neural knowledge and externally recorded symbolic knowledge based on ConfQA's confidence. The framework enables potential accuracy gains to beyond 95%, while reducing unnecessary external retrievals by over 30%.

ConfQA: Antworten Sie nur, wenn Sie sich sicher sind.

ConfQA: Answer Only If You Are Confident

Zusammenfassung

Support