CiteGuard: Getrouwe Citatentoekenning voor LLM's via Retrieval-augmented Validatie

CiteGuard: Faithful Citation Attribution for LLMs via Retrieval-Augmented Validation

October 15, 2025

Auteurs: Yee Man Choi, Xuehang Guo, Yi R., Fung, Qingyun Wang

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) zijn opgekomen als veelbelovende assistenten voor wetenschappelijk schrijven. Er zijn echter zorgen gerezen over de kwaliteit en betrouwbaarheid van de gegenereerde tekst, waaronder de nauwkeurigheid en geloofwaardigheid van citaten. Hoewel recent werk voornamelijk steunt op methoden zoals 'LLM-als-Rechter', wordt ook de betrouwbaarheid van enkel een LLM-als-Rechter in twijfel getrokken. In dit werk herformuleren we de evaluatie van citaten als een probleem van citatentoewijzingsalignatie: het beoordelen of door een LLM gegenereerde citaten overeenkomen met de citaten die een menselijke auteur zou opnemen voor dezelfde tekst. Wij stellen CiteGuard voor, een retrieval-bewust agentraamwerk dat is ontworpen om een geloofwaardigere basis te bieden voor citatenvalidatie. CiteGuard verbetert de vorige baseline met 12,3% en behaalt een nauwkeurigheid van tot 65,4% op de CiteME-benchmark, wat vergelijkbaar is met menselijke prestaties (69,7%). Het maakt ook de identificatie van alternatieve maar geldige citaten mogelijk.

English

Large Language Models (LLMs) have emerged as promising assistants for scientific writing. However, there have been concerns regarding the quality and reliability of the generated text, one of which is the citation accuracy and faithfulness. While most recent work relies on methods such as LLM-as-a-Judge, the reliability of LLM-as-a-Judge alone is also in doubt. In this work, we reframe citation evaluation as a problem of citation attribution alignment, which is assessing whether LLM-generated citations match those a human author would include for the same text. We propose CiteGuard, a retrieval-aware agent framework designed to provide more faithful grounding for citation validation. CiteGuard improves the prior baseline by 12.3%, and achieves up to 65.4% accuracy on the CiteME benchmark, on par with human-level performance (69.7%). It also enables the identification of alternative but valid citations.