CiteGuard: Zuverlässige Quellenzuordnung für große Sprachmodelle durch retrievergestützte Validierung

CiteGuard: Faithful Citation Attribution for LLMs via Retrieval-Augmented Validation

October 15, 2025

papers.authors: Yee Man Choi, Xuehang Guo, Yi R., Fung, Qingyun Wang

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben sich als vielversprechende Assistenten für das wissenschaftliche Schreiben erwiesen. Es bestehen jedoch Bedenken hinsichtlich der Qualität und Zuverlässigkeit der generierten Texte, insbesondere in Bezug auf die Genauigkeit und Verlässlichkeit von Zitaten. Während sich die meisten aktuellen Arbeiten auf Methoden wie LLM-as-a-Judge stützen, wird auch die Zuverlässigkeit dieses alleinigen Ansatzes in Frage gestellt. In dieser Arbeit formulieren wir die Zitatauswertung als Problem der Zitatzuordnungsübereinstimmung neu, bei dem bewertet wird, ob die von LLMs generierten Zitate mit denen übereinstimmen, die ein menschlicher Autor für denselben Text verwenden würde. Wir schlagen CiteGuard vor, ein abrufbewusstes Agenten-Framework, das eine verlässlichere Grundlage für die Zitatvalidierung bieten soll. CiteGuard verbessert die bisherige Baseline um 12,3 % und erreicht eine Genauigkeit von bis zu 65,4 % auf dem CiteME-Benchmark, was in etwa der menschlichen Leistung (69,7 %) entspricht. Es ermöglicht zudem die Identifikation alternativer, aber dennoch gültiger Zitate.

English

Large Language Models (LLMs) have emerged as promising assistants for scientific writing. However, there have been concerns regarding the quality and reliability of the generated text, one of which is the citation accuracy and faithfulness. While most recent work relies on methods such as LLM-as-a-Judge, the reliability of LLM-as-a-Judge alone is also in doubt. In this work, we reframe citation evaluation as a problem of citation attribution alignment, which is assessing whether LLM-generated citations match those a human author would include for the same text. We propose CiteGuard, a retrieval-aware agent framework designed to provide more faithful grounding for citation validation. CiteGuard improves the prior baseline by 12.3%, and achieves up to 65.4% accuracy on the CiteME benchmark, on par with human-level performance (69.7%). It also enables the identification of alternative but valid citations.