Attribuzione Documentale: Analisi delle Relazioni di Citazione mediante Modelli Linguistici di Grande Scala

Document Attribution: Examining Citation Relationships using Large Language Models

May 9, 2025

Autori: Vipula Rawte, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka

cs.AI

Abstract

Man mano che i Modelli Linguistici di Grande Dimensione (LLM) vengono sempre più applicati a compiti basati su documenti - come la sintesi di documenti, il question answering e l'estrazione di informazioni - dove i requisiti degli utenti si concentrano sul recupero di informazioni da documenti forniti piuttosto che sulla conoscenza parametrica del modello, garantire l'affidabilità e l'interpretabilità di questi sistemi è diventata una preoccupazione critica. Un approccio centrale per affrontare questa sfida è l'attribuzione, che consiste nel rintracciare gli output generati fino ai documenti sorgente. Tuttavia, poiché gli LLM possono produrre risposte inaccurate o imprecise, è cruciale valutare l'affidabilità di queste citazioni. Per affrontare questo problema, il nostro lavoro propone due tecniche. (1) Un approccio zero-shot che inquadra l'attribuzione come un semplice compito di implicazione testuale. Il nostro metodo che utilizza flan-ul2 dimostra un miglioramento dello 0,27% e del 2,4% rispetto alla migliore baseline degli insiemi ID e OOD di AttributionBench, rispettivamente. (2) Esploriamo inoltre il ruolo del meccanismo di attenzione nel migliorare il processo di attribuzione. Utilizzando un LLM più piccolo, flan-t5-small, i punteggi F1 superano la baseline in quasi tutti i livelli, ad eccezione del livello 4 e dei livelli da 8 a 11.

English

As Large Language Models (LLMs) are increasingly applied to document-based tasks - such as document summarization, question answering, and information extraction - where user requirements focus on retrieving information from provided documents rather than relying on the model's parametric knowledge, ensuring the trustworthiness and interpretability of these systems has become a critical concern. A central approach to addressing this challenge is attribution, which involves tracing the generated outputs back to their source documents. However, since LLMs can produce inaccurate or imprecise responses, it is crucial to assess the reliability of these citations. To tackle this, our work proposes two techniques. (1) A zero-shot approach that frames attribution as a straightforward textual entailment task. Our method using flan-ul2 demonstrates an improvement of 0.27% and 2.4% over the best baseline of ID and OOD sets of AttributionBench, respectively. (2) We also explore the role of the attention mechanism in enhancing the attribution process. Using a smaller LLM, flan-t5-small, the F1 scores outperform the baseline across almost all layers except layer 4 and layers 8 through 11.