Verbesserung der Kontexttreue durch native retrievergestützte Argumentation

papers.abstract

Große Sprachmodelle (LLMs) haben oft Schwierigkeiten mit der Kontexttreue und liefern inkonsistente Antworten, wenn sie Fragen auf der Grundlage bereitgestellter Informationen beantworten sollen. Bestehende Ansätze verlassen sich entweder auf teures überwachtes Fein-Tuning, um nach der Antwort Beweise zu generieren, oder trainieren Modelle, um Websuchen durchzuführen, ohne unbedingt die Nutzung des gegebenen Kontexts zu verbessern. Wir schlagen CARE vor, ein neuartiges natives, retrieval-augmentiertes Reasoning-Framework, das LLMs beibringt, explizit kontextinterne Beweise in ihren Reasoning-Prozess zu integrieren, indem sie die eigenen Retrieval-Fähigkeiten des Modells nutzen. Unsere Methode erfordert nur begrenzte annotierte Beweisdaten und verbessert sowohl die Retrieval-Genauigkeit als auch die Antwortgenerierungsleistung durch strategisch abgerufene kontextinterne Tokens in der Reasoning-Kette. Umfangreiche Experimente auf mehreren realen und kontrafaktischen QA-Benchmarks zeigen, dass unser Ansatz überwachtes Fein-Tuning, traditionelle retrieval-augmentierte Generierungsmethoden und externe Retrieval-Lösungen deutlich übertrifft. Diese Arbeit stellt einen grundlegenden Fortschritt dar, um LLMs für wissensintensive Aufgaben genauer, zuverlässiger und effizienter zu machen.

English

Large language models (LLMs) often struggle with context fidelity, producing inconsistent answers when responding to questions based on provided information. Existing approaches either rely on expensive supervised fine-tuning to generate evidence post-answer or train models to perform web searches without necessarily improving utilization of the given context. We propose CARE, a novel native retrieval-augmented reasoning framework that teaches LLMs to explicitly integrate in-context evidence within their reasoning process with the model's own retrieval capabilities. Our method requires limited labeled evidence data while significantly enhancing both retrieval accuracy and answer generation performance through strategically retrieved in-context tokens in the reasoning chain. Extensive experiments on multiple real-world and counterfactual QA benchmarks demonstrate that our approach substantially outperforms supervised fine-tuning, traditional retrieval-augmented generation methods, and external retrieval solutions. This work represents a fundamental advancement in making LLMs more accurate, reliable, and efficient for knowledge-intensive tasks.

Verbesserung der Kontexttreue durch native retrievergestützte Argumentation

Improving Context Fidelity via Native Retrieval-Augmented Reasoning

papers.abstract

Support