Attribution des documents : Analyse des relations de citation à l'aide de grands modèles de langage

Document Attribution: Examining Citation Relationships using Large Language Models

May 9, 2025

Auteurs: Vipula Rawte, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka

cs.AI

Résumé

Alors que les modèles de langage de grande taille (LLMs) sont de plus en plus appliqués à des tâches basées sur des documents - telles que la synthèse de documents, la réponse à des questions et l'extraction d'informations - où les exigences des utilisateurs se concentrent sur la récupération d'informations à partir de documents fournis plutôt que sur la connaissance paramétrique du modèle, garantir la fiabilité et l'interprétabilité de ces systèmes est devenu un enjeu critique. Une approche centrale pour relever ce défi est l'attribution, qui consiste à retracer les sorties générées jusqu'à leurs documents sources. Cependant, puisque les LLMs peuvent produire des réponses inexactes ou imprécises, il est crucial d'évaluer la fiabilité de ces citations. Pour résoudre ce problème, notre travail propose deux techniques. (1) Une approche zero-shot qui formule l'attribution comme une tâche simple d'implication textuelle. Notre méthode utilisant flan-ul2 démontre une amélioration de 0,27 % et 2,4 % par rapport à la meilleure base de référence des ensembles ID et OOD d'AttributionBench, respectivement. (2) Nous explorons également le rôle du mécanisme d'attention dans l'amélioration du processus d'attribution. En utilisant un LLM plus petit, flan-t5-small, les scores F1 surpassent la base de référence dans presque toutes les couches, à l'exception de la couche 4 et des couches 8 à 11.

English

As Large Language Models (LLMs) are increasingly applied to document-based tasks - such as document summarization, question answering, and information extraction - where user requirements focus on retrieving information from provided documents rather than relying on the model's parametric knowledge, ensuring the trustworthiness and interpretability of these systems has become a critical concern. A central approach to addressing this challenge is attribution, which involves tracing the generated outputs back to their source documents. However, since LLMs can produce inaccurate or imprecise responses, it is crucial to assess the reliability of these citations. To tackle this, our work proposes two techniques. (1) A zero-shot approach that frames attribution as a straightforward textual entailment task. Our method using flan-ul2 demonstrates an improvement of 0.27% and 2.4% over the best baseline of ID and OOD sets of AttributionBench, respectively. (2) We also explore the role of the attention mechanism in enhancing the attribution process. Using a smaller LLM, flan-t5-small, the F1 scores outperform the baseline across almost all layers except layer 4 and layers 8 through 11.