Document Attributie: Onderzoek naar Citatieverbanden met behulp van Grote Taalmodellen

Document Attribution: Examining Citation Relationships using Large Language Models

May 9, 2025

Auteurs: Vipula Rawte, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka

cs.AI

Samenvatting

Naarmate Large Language Models (LLMs) steeds vaker worden toegepast op documentgebaseerde taken – zoals documentensamenvatting, vraagbeantwoording en informatie-extractie – waarbij gebruikerseisen zich richten op het ophalen van informatie uit aangeleverde documenten in plaats van te vertrouwen op de parametrische kennis van het model, is het waarborgen van de betrouwbaarheid en interpreteerbaarheid van deze systemen een kritieke zorg geworden. Een centrale benadering om deze uitdaging aan te pakken is attributie, waarbij de gegenereerde uitvoer wordt teruggeleid naar de brondocumenten. Omdat LLMs echter onnauwkeurige of onprecieze antwoorden kunnen produceren, is het cruciaal om de betrouwbaarheid van deze citaties te beoordelen. Om dit aan te pakken, stelt ons werk twee technieken voor. (1) Een zero-shot benadering die attributie behandelt als een eenvoudige tekstuele entailment-taak. Onze methode met flan-ul2 laat een verbetering zien van 0,27% en 2,4% ten opzichte van de beste baseline van de ID- en OOD-sets van AttributionBench, respectievelijk. (2) We onderzoeken ook de rol van het aandachtmechanisme bij het verbeteren van het attributieproces. Met een kleiner LLM, flan-t5-small, overtreffen de F1-scores de baseline in bijna alle lagen, behalve in laag 4 en lagen 8 tot en met 11.

English

As Large Language Models (LLMs) are increasingly applied to document-based tasks - such as document summarization, question answering, and information extraction - where user requirements focus on retrieving information from provided documents rather than relying on the model's parametric knowledge, ensuring the trustworthiness and interpretability of these systems has become a critical concern. A central approach to addressing this challenge is attribution, which involves tracing the generated outputs back to their source documents. However, since LLMs can produce inaccurate or imprecise responses, it is crucial to assess the reliability of these citations. To tackle this, our work proposes two techniques. (1) A zero-shot approach that frames attribution as a straightforward textual entailment task. Our method using flan-ul2 demonstrates an improvement of 0.27% and 2.4% over the best baseline of ID and OOD sets of AttributionBench, respectively. (2) We also explore the role of the attention mechanism in enhancing the attribution process. Using a smaller LLM, flan-t5-small, the F1 scores outperform the baseline across almost all layers except layer 4 and layers 8 through 11.