Atribución de Documentos: Examinando Relaciones de Citación mediante Modelos de Lenguaje a Gran Escala

Document Attribution: Examining Citation Relationships using Large Language Models

May 9, 2025

Autores: Vipula Rawte, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka

cs.AI

Resumen

A medida que los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) se aplican cada vez más a tareas basadas en documentos —como la resumen de documentos, la respuesta a preguntas y la extracción de información—, donde los requisitos del usuario se centran en recuperar información de los documentos proporcionados en lugar de depender del conocimiento paramétrico del modelo, garantizar la confiabilidad y la interpretabilidad de estos sistemas se ha convertido en una preocupación crítica. Un enfoque central para abordar este desafío es la atribución, que implica rastrear las salidas generadas hasta sus documentos de origen. Sin embargo, dado que los LLMs pueden producir respuestas inexactas o imprecisas, es crucial evaluar la confiabilidad de estas citas. Para abordar esto, nuestro trabajo propone dos técnicas. (1) Un enfoque de cero disparos (zero-shot) que enmarca la atribución como una tarea simple de implicación textual. Nuestro método, que utiliza flan-ul2, muestra una mejora del 0.27% y del 2.4% sobre la mejor línea base en los conjuntos ID y OOD de AttributionBench, respectivamente. (2) También exploramos el papel del mecanismo de atención en la mejora del proceso de atribución. Utilizando un LLM más pequeño, flan-t5-small, las puntuaciones F1 superan a la línea base en casi todas las capas, excepto en la capa 4 y en las capas 8 a 11.

English

As Large Language Models (LLMs) are increasingly applied to document-based tasks - such as document summarization, question answering, and information extraction - where user requirements focus on retrieving information from provided documents rather than relying on the model's parametric knowledge, ensuring the trustworthiness and interpretability of these systems has become a critical concern. A central approach to addressing this challenge is attribution, which involves tracing the generated outputs back to their source documents. However, since LLMs can produce inaccurate or imprecise responses, it is crucial to assess the reliability of these citations. To tackle this, our work proposes two techniques. (1) A zero-shot approach that frames attribution as a straightforward textual entailment task. Our method using flan-ul2 demonstrates an improvement of 0.27% and 2.4% over the best baseline of ID and OOD sets of AttributionBench, respectively. (2) We also explore the role of the attention mechanism in enhancing the attribution process. Using a smaller LLM, flan-t5-small, the F1 scores outperform the baseline across almost all layers except layer 4 and layers 8 through 11.