Source ou ça n'a pas eu lieu : un cadre multi-agent pour la détection des hallucinations de citation

Résumé

Les grands modèles de langage sont de plus en plus utilisés dans la rédaction scientifique, mais ils peuvent fabriquer des références en forme de citations qui paraissent plausibles tout en échouant à la vérification bibliographique. Les détecteurs existants réduisent souvent la vérification à des décisions binaires trouvé/non trouvé et reposent sur un analyseur syntaxique fragile ou une recherche incomplète, offrant peu d’informations au niveau des champs disciplinaires aux auditeurs. Nous reformulons la détection des hallucinations de citations comme une adjudication au niveau du champ, alignée sur une taxonomie, et introduisons une taxonomie à 12 codes couvrant les citations réelles, potentielles et hallucinées. Sur la base de cette taxonomie, nous construisons CiteTracer, un détecteur multi-agents en cascade qui extrait les citations structurées à partir de PDF et BibTeX, récupère les preuves via une recherche en cache, l’extraction d’URL, des connecteurs académiques et une recherche web, applique une correspondance déterministe par champ, et oriente les cas ambigus vers des juges spécialistes de chaque classe. Nous publions un benchmark de 2 450 citations synthétiques construites à partir de semences réelles avec des mutations contrôlées par LLM, associé à 957 citations fabriquées réelles extraites d’ICLR 2026 et de soumissions rejetées sur dossier d’une conférence anonyme. CiteTracer atteint une précision de 97,1% sur le benchmark synthétique, avec des scores F1 par classe de 97,0, 95,8 et 98,5 pour les citations réelles, potentielles et hallucinées respectivement, et détecte 97,1% des fabrications sur l’ensemble réel sans s’abstenir. Code : https://github.com/aaFrostnova/CiteTracer.

English

Large language models are increasingly used in scientific writing, yet they can fabricate citation-shaped references that appear plausible but fail bibliographic verification. Existing detectors often reduce verification to binary found/not-found decisions and rely on brittle parsing or incomplete retrieval, offering little field-level signal to auditors. We reframe citation hallucination detection as taxonomy-aligned field-level adjudication and introduce a 12-code taxonomy spanning Real, Potential, and Hallucinated citations. Based on this taxonomy, we build CiteTracer, a cascading multi-agent detector that extracts structured citations from PDF and BibTeX, retrieves evidence through cache lookup, URL fetch, scholar connectors, and web search, applies deterministic field matching, and routes ambiguous cases to class-specialist judgers. We release a benchmark of 2,450 synthetic citations built from real seeds with controlled LLM mutations, paired with 957 real-world fabricated citations drawn from ICLR 2026 and an anonymous conference desk-rejected submissions. CiteTracer reaches 97.1% accuracy on the synthetic benchmark, with class-level F1 scores of 97.0, 95.8, and 98.5 for Real, Potential, and Hallucinated, respectively, and detects 97.1% of fabrications on the real-world set without abstaining. Code: https://github.com/aaFrostnova/CiteTracer.