Атрибуция документов: анализ цитирования с использованием крупных языковых моделей

Document Attribution: Examining Citation Relationships using Large Language Models

May 9, 2025

Авторы: Vipula Rawte, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka

cs.AI

Аннотация

По мере того как крупные языковые модели (LLM) всё чаще применяются для задач, связанных с обработкой документов — таких как суммаризация документов, ответы на вопросы и извлечение информации — где требования пользователей сосредоточены на получении информации из предоставленных документов, а не на использовании параметрических знаний модели, обеспечение доверия и интерпретируемости этих систем становится критически важной задачей. Ключевым подходом к решению этой проблемы является атрибуция, которая предполагает отслеживание сгенерированных выводов до их исходных документов. Однако, поскольку LLM могут выдавать неточные или неоднозначные ответы, крайне важно оценивать надёжность этих ссылок. Для решения этой проблемы наша работа предлагает два метода. (1) Подход с нулевым обучением (zero-shot), который формулирует атрибуцию как простую задачу текстового следования. Наш метод с использованием модели flan-ul2 демонстрирует улучшение на 0,27% и 2,4% по сравнению с лучшим базовым результатом на наборах данных ID и OOD из AttributionBench соответственно. (2) Мы также исследуем роль механизма внимания в улучшении процесса атрибуции. Используя меньшую модель flan-t5-small, показатели F1 превосходят базовый уровень почти на всех слоях, за исключением 4-го слоя и слоёв с 8 по 11.

English

As Large Language Models (LLMs) are increasingly applied to document-based tasks - such as document summarization, question answering, and information extraction - where user requirements focus on retrieving information from provided documents rather than relying on the model's parametric knowledge, ensuring the trustworthiness and interpretability of these systems has become a critical concern. A central approach to addressing this challenge is attribution, which involves tracing the generated outputs back to their source documents. However, since LLMs can produce inaccurate or imprecise responses, it is crucial to assess the reliability of these citations. To tackle this, our work proposes two techniques. (1) A zero-shot approach that frames attribution as a straightforward textual entailment task. Our method using flan-ul2 demonstrates an improvement of 0.27% and 2.4% over the best baseline of ID and OOD sets of AttributionBench, respectively. (2) We also explore the role of the attention mechanism in enhancing the attribution process. Using a smaller LLM, flan-t5-small, the F1 scores outperform the baseline across almost all layers except layer 4 and layers 8 through 11.