Dokumentenattribution: Untersuchung von Zitationsbeziehungen mithilfe von Large Language Models

Document Attribution: Examining Citation Relationships using Large Language Models

May 9, 2025

Autoren: Vipula Rawte, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka

cs.AI

Zusammenfassung

Da große Sprachmodelle (LLMs) zunehmend für dokumentbasierte Aufgaben eingesetzt werden – wie Dokumentenzusammenfassung, Fragebeantwortung und Informationsextraktion –, bei denen sich die Benutzeranforderungen darauf konzentrieren, Informationen aus bereitgestellten Dokumenten abzurufen, anstatt sich auf das parametrische Wissen des Modells zu verlassen, ist die Sicherstellung der Vertrauenswürdigkeit und Interpretierbarkeit dieser Systeme zu einem zentralen Anliegen geworden. Ein zentraler Ansatz zur Bewältigung dieser Herausforderung ist die Attribution, bei der die generierten Ausgaben auf ihre Quelldokumente zurückverfolgt werden. Da LLMs jedoch ungenaue oder unpräzise Antworten liefern können, ist es entscheidend, die Zuverlässigkeit dieser Zitate zu bewerten. Um dies zu bewältigen, schlägt unsere Arbeit zwei Techniken vor. (1) Ein Zero-Shot-Ansatz, der Attribution als eine einfache Aufgabe der textuellen Implikation betrachtet. Unsere Methode mit flan-ul2 zeigt eine Verbesserung von 0,27 % und 2,4 % gegenüber der besten Baseline der ID- und OOD-Datensätze von AttributionBench. (2) Wir untersuchen auch die Rolle des Aufmerksamkeitsmechanismus bei der Verbesserung des Attributionsprozesses. Mit einem kleineren LLM, flan-t5-small, übertreffen die F1-Werte die Baseline in fast allen Schichten, mit Ausnahme von Schicht 4 und den Schichten 8 bis 11.

English

As Large Language Models (LLMs) are increasingly applied to document-based tasks - such as document summarization, question answering, and information extraction - where user requirements focus on retrieving information from provided documents rather than relying on the model's parametric knowledge, ensuring the trustworthiness and interpretability of these systems has become a critical concern. A central approach to addressing this challenge is attribution, which involves tracing the generated outputs back to their source documents. However, since LLMs can produce inaccurate or imprecise responses, it is crucial to assess the reliability of these citations. To tackle this, our work proposes two techniques. (1) A zero-shot approach that frames attribution as a straightforward textual entailment task. Our method using flan-ul2 demonstrates an improvement of 0.27% and 2.4% over the best baseline of ID and OOD sets of AttributionBench, respectively. (2) We also explore the role of the attention mechanism in enhancing the attribution process. Using a smaller LLM, flan-t5-small, the F1 scores outperform the baseline across almost all layers except layer 4 and layers 8 through 11.