AutoCitação: Alinhamento Auto-supervisionado para Atribuição de Contexto em Modelos de Linguagem Grandes

SelfCite: Self-Supervised Alignment for Context Attribution in Large Language Models

February 13, 2025

Autores: Yung-Sung Chuang, Benjamin Cohen-Wang, Shannon Zejiang Shen, Zhaofeng Wu, Hu Xu, Xi Victoria Lin, James Glass, Shang-Wen Li, Wen-tau Yih

cs.AI

Resumo

Apresentamos o SelfCite, uma abordagem auto-supervisionada inovadora que alinha LLMs para gerar citações de alta qualidade, refinadas e em nível de sentença para as afirmações em suas respostas geradas. Em vez de depender apenas de anotações caras e trabalhosas, o SelfCite aproveita um sinal de recompensa fornecido pelo LLM por meio da ablação de contexto: se uma citação for necessária, remover o texto citado do contexto deve impedir a mesma resposta; se for suficiente, manter apenas o texto citado deve preservar a mesma resposta. Essa recompensa pode orientar a estratégia de amostragem de melhor-de-N no momento da inferência para melhorar significativamente a qualidade das citações, além de ser usada na otimização de preferência para ajustar diretamente os modelos para gerar melhores citações. A eficácia do SelfCite é demonstrada ao aumentar o F1 de citação em até 5,3 pontos no benchmark LongBench-Cite em cinco tarefas de resposta a perguntas de longo formato.

English

We introduce SelfCite, a novel self-supervised approach that aligns LLMs to generate high-quality, fine-grained, sentence-level citations for the statements in their generated responses. Instead of only relying on costly and labor-intensive annotations, SelfCite leverages a reward signal provided by the LLM itself through context ablation: If a citation is necessary, removing the cited text from the context should prevent the same response; if sufficient, retaining the cited text alone should preserve the same response. This reward can guide the inference-time best-of-N sampling strategy to improve citation quality significantly, as well as be used in preference optimization to directly fine-tune the models for generating better citations. The effectiveness of SelfCite is demonstrated by increasing citation F1 up to 5.3 points on the LongBench-Cite benchmark across five long-form question answering tasks.