Atribuição de Documentos: Examinando Relações de Citação usando Modelos de Linguagem de Grande Escala

Document Attribution: Examining Citation Relationships using Large Language Models

May 9, 2025

Autores: Vipula Rawte, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka

cs.AI

Resumo

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais aplicados a tarefas baseadas em documentos — como sumarização de documentos, resposta a perguntas e extração de informações —, onde os requisitos dos usuários se concentram em recuperar informações dos documentos fornecidos em vez de depender do conhecimento paramétrico do modelo, garantir a confiabilidade e a interpretabilidade desses sistemas tornou-se uma preocupação crítica. Uma abordagem central para enfrentar esse desafio é a atribuição, que envolve rastrear as saídas geradas de volta aos documentos de origem. No entanto, como os LLMs podem produzir respostas imprecisas ou incorretas, é crucial avaliar a confiabilidade dessas citações. Para enfrentar isso, nosso trabalho propõe duas técnicas. (1) Uma abordagem zero-shot que enquadra a atribuição como uma tarefa simples de implicação textual. Nosso método usando flan-ul2 demonstra uma melhoria de 0,27% e 2,4% sobre a melhor linha de base dos conjuntos ID e OOD do AttributionBench, respectivamente. (2) Também exploramos o papel do mecanismo de atenção no aprimoramento do processo de atribuição. Usando um LLM menor, flan-t5-small, as pontuações F1 superam a linha de base em quase todas as camadas, exceto na camada 4 e nas camadas 8 a 11.

English

As Large Language Models (LLMs) are increasingly applied to document-based tasks - such as document summarization, question answering, and information extraction - where user requirements focus on retrieving information from provided documents rather than relying on the model's parametric knowledge, ensuring the trustworthiness and interpretability of these systems has become a critical concern. A central approach to addressing this challenge is attribution, which involves tracing the generated outputs back to their source documents. However, since LLMs can produce inaccurate or imprecise responses, it is crucial to assess the reliability of these citations. To tackle this, our work proposes two techniques. (1) A zero-shot approach that frames attribution as a straightforward textual entailment task. Our method using flan-ul2 demonstrates an improvement of 0.27% and 2.4% over the best baseline of ID and OOD sets of AttributionBench, respectively. (2) We also explore the role of the attention mechanism in enhancing the attribution process. Using a smaller LLM, flan-t5-small, the F1 scores outperform the baseline across almost all layers except layer 4 and layers 8 through 11.