CiteGuard: Attribuzione Fedele delle Citazioni per LLM tramite Validazione Potenziata dal Recupero delle Informazioni

CiteGuard: Faithful Citation Attribution for LLMs via Retrieval-Augmented Validation

October 15, 2025

Autori: Yee Man Choi, Xuehang Guo, Yi R., Fung, Qingyun Wang

cs.AI

Abstract

I Large Language Model (LLM) si sono affermati come promettenti assistenti per la scrittura scientifica. Tuttavia, sono state sollevate preoccupazioni riguardo alla qualità e all'affidabilità del testo generato, tra cui l'accuratezza e la fedeltà delle citazioni. Sebbene la maggior parte dei lavori recenti si basi su metodi come l'LLM-as-a-Judge, anche l'affidabilità di questo approccio isolato è messa in dubbio. In questo lavoro, riformuliamo la valutazione delle citazioni come un problema di allineamento nell'attribuzione delle citazioni, che consiste nel valutare se le citazioni generate da un LLM corrispondano a quelle che un autore umano includerebbe per lo stesso testo. Proponiamo CiteGuard, un framework di agenti retrieval-aware progettato per fornire una base più affidabile per la validazione delle citazioni. CiteGuard migliora il precedente baseline del 12,3% e raggiunge un'accuratezza fino al 65,4% sul benchmark CiteME, in linea con le prestazioni umane (69,7%). Consente inoltre l'identificazione di citazioni alternative ma valide.

English

Large Language Models (LLMs) have emerged as promising assistants for scientific writing. However, there have been concerns regarding the quality and reliability of the generated text, one of which is the citation accuracy and faithfulness. While most recent work relies on methods such as LLM-as-a-Judge, the reliability of LLM-as-a-Judge alone is also in doubt. In this work, we reframe citation evaluation as a problem of citation attribution alignment, which is assessing whether LLM-generated citations match those a human author would include for the same text. We propose CiteGuard, a retrieval-aware agent framework designed to provide more faithful grounding for citation validation. CiteGuard improves the prior baseline by 12.3%, and achieves up to 65.4% accuracy on the CiteME benchmark, on par with human-level performance (69.7%). It also enables the identification of alternative but valid citations.