문서 속성 분석: 대규모 언어 모델을 활용한 인용 관계 검토

Document Attribution: Examining Citation Relationships using Large Language Models

May 9, 2025

저자: Vipula Rawte, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka

cs.AI

초록

대규모 언어 모델(LLMs)이 문서 요약, 질문 응답, 정보 추출과 같은 문서 기반 작업에 점점 더 많이 적용됨에 따라, 사용자 요구사항이 모델의 파라미터 지식에 의존하기보다는 제공된 문서에서 정보를 검색하는 데 초점을 맞추면서, 이러한 시스템의 신뢰성과 해석 가능성을 보장하는 것이 중요한 문제로 대두되고 있습니다. 이러한 문제를 해결하기 위한 핵심 접근 방식은 생성된 출력을 원본 문서로 추적하는 속성(attribution)입니다. 그러나 LLMs이 부정확하거나 모호한 응답을 생성할 수 있기 때문에, 이러한 인용의 신뢰성을 평가하는 것이 중요합니다. 이를 해결하기 위해, 우리의 연구는 두 가지 기술을 제안합니다. (1) 속성을 단순한 텍스트 함의(textual entailment) 작업으로 프레이밍하는 제로샷(zero-shot) 접근 방식입니다. flan-ul2를 사용한 우리의 방법은 AttributionBench의 ID 및 OOD 데이터셋에서 각각 최고의 베이스라인 대비 0.27%와 2.4%의 개선을 보여줍니다. (2) 또한, 우리는 속성 과정을 강화하는 데 있어 주의 메커니즘(attention mechanism)의 역할을 탐구합니다. 더 작은 LLM인 flan-t5-small을 사용할 때, 4층과 8층부터 11층을 제외한 거의 모든 층에서 F1 점수가 베이스라인을 능가합니다.

English

As Large Language Models (LLMs) are increasingly applied to document-based tasks - such as document summarization, question answering, and information extraction - where user requirements focus on retrieving information from provided documents rather than relying on the model's parametric knowledge, ensuring the trustworthiness and interpretability of these systems has become a critical concern. A central approach to addressing this challenge is attribution, which involves tracing the generated outputs back to their source documents. However, since LLMs can produce inaccurate or imprecise responses, it is crucial to assess the reliability of these citations. To tackle this, our work proposes two techniques. (1) A zero-shot approach that frames attribution as a straightforward textual entailment task. Our method using flan-ul2 demonstrates an improvement of 0.27% and 2.4% over the best baseline of ID and OOD sets of AttributionBench, respectively. (2) We also explore the role of the attention mechanism in enhancing the attribution process. Using a smaller LLM, flan-t5-small, the F1 scores outperform the baseline across almost all layers except layer 4 and layers 8 through 11.