REFLEX: Selbstverfeinernde erklärbare Faktenprüfung durch Entflechtung der Wahrheit in Stil und Substanz

REFLEX: Self-Refining Explainable Fact-Checking via Disentangling Truth into Style and Substance

November 25, 2025

papers.authors: Chuyi Kong, Gao Wei, Jing Ma, Hongzhan Lin, Yaxin Fan

cs.AI

papers.abstract

Die Verbreitung von Fehlinformationen in sozialen Medien gefährdet das öffentliche Vertrauen und erfordert automatisierte Faktenprüfungssysteme, die präzise Urteile mit nachvollziehbaren Erklärungen liefern. Bisherige Ansätze auf Basis großer Sprachmodelle (LLM) sind jedoch oft stark auf externe Wissensquellen angewiesen, was erhebliche Latenzzeiten und sogar Halluzinationen verursacht – Faktoren, die die Zuverlässigkeit, Nachvollziehbarkeit und Reaktionsfähigkeit beeinträchtigen, die für Echtzeitanwendungen entscheidend sind. Um diese Herausforderungen zu bewältigen, schlagen wir das REason-guided Fact-checking with Latent EXplanations (REFLEX)-Paradigma vor: ein plug-and-play-fähiges, selbstoptimierendes Paradigma, das das interne Wissen des Basismodells nutzt, um sowohl die Urteilsgenauigkeit als auch die Erklärungsqualität zu verbessern. REFLEX formuliert Faktenprüfung als Rollenspiel-Dialog um und trainiert Urteilsvorhersage und Erklärungsgenerierung gemeinsam. Es extrahiert adaptiv kontrastive Aktivierungspaare zwischen dem Basismodell und seiner feinabgestimmten Variante, um Steuerungsvektoren zu konstruieren, die Wahrheit natürlich in Stil und Substanz entwirren. Diese Aktivierungssignale leiten den Inferenzprozess und unterdrücken verrauschte Erklärungen, was zuverlässigeres und effizienteres Schließen ermöglicht. Experimente mit realen Datensätzen zeigen, dass REFLEX bisherige Methoden übertrifft, die lediglich eine einzelne Wahrheitsrichtung verfolgen, und verdeutlichen die Schwierigkeit traditioneller Ansätze im Umgang mit subtilen, menschenunbekannten Wahrheiten in Faktenprüfungsaufgaben. Bemerkenswerterweise erreicht REFLEX mit nur 465 selbstoptimierten Trainingsbeispielen State-of-the-Art-Leistung. Darüber hinaus können Modelle, die mit Erklärungszielen trainiert wurden, solche ohne solche Ziele effektiv anleiten und bis zu 7,57 % Verbesserung erzielen – ein Beleg dafür, dass interne Erklärungssignale eine Doppelrolle bei sowohl der Interpretation als auch der Verbesserung faktischen Schließens spielen.

English

The prevalence of misinformation on social media threatens public trust, demanding automated fact-checking systems that provide accurate verdicts with interpretable explanations. However, existing large language model-based (LLM-based) approaches often rely heavily on external knowledge sources, introducing substantial latency and even hallucinations that undermine reliability, interpretability, and responsiveness, which is crucial for real-time use. To address these challenges, we propose REason-guided Fact-checking with Latent EXplanations REFLEX paradigm, a plug-and-play, self-refining paradigm that leverages the internal knowledge in backbone model to improve both verdict accuracy and explanation quality. REFLEX reformulates fact-checking as a role-play dialogue and jointly trains verdict prediction and explanation generation. It adaptively extracts contrastive activation pairs between the backbone model and its fine-tuned variant to construct steering vectors that disentangle truth into style and substance naturally. These activation-level signals guide inference and suppress noisy explanations, enabling more faithful and efficient reasoning. Experiments on real-world datasets show that REFLEX outperforms previous methods that steer toward a single truth direction and underscores the challenge traditional approaches face when handling the subtle, human-unknown truth in fact-checking tasks. Remarkably, with only 465 self-refined training samples, RELFEX achieves state-of-the-art performance. Furthermore, models trained with explanatory objectives can effectively guide those without them, yielding up to a 7.57% improvement, highlighting that internal explanation signals play a dual role in both interpreting and enhancing factual reasoning.