MR-Align: Meta-Reasonungsbasierte Faktizitätsausrichtung für große Reasoning-Modelle

MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models

October 27, 2025

papers.authors: Xinming Wang, Jian Xu, Bin Yu, Sheng Lian, Hongzhu Yi, Yi Chen, Yingjian Zhu, Boran Wang, Hongming Yang, Han Hu, Xu-Yao Zhang, Cheng-Lin Liu

cs.AI

papers.abstract

Große Reasoning-Modelle (LRMs) zeigen starke Fähigkeiten im komplexen logischen Denken, doch ihre zusätzlichen Gewinne bei evidenzbasierten Faktenfragen sind begrenzt. Wir stellen fest, dass diese Einschränkung teilweise auf eine Reasoning-Antwort-Lücke zurückzuführen ist, bei der das Modell während des Reasoning-Prozesses die korrekten Fakten identifiziert, diese jedoch nicht in die endgültige Antwort einbezieht, was die faktische Treue verringert. Um dieses Problem zu lösen, schlagen wir MR-ALIGN vor, ein Meta-Reasoning-informiertes Alignment-Framework, das die Faktentreue verbessert, ohne auf externe Verifizierer angewiesen zu sein. MR-ALIGN quantifiziert Zustandsübergangswahrscheinlichkeiten entlang des Denkprozesses des Modells und konstruiert eine übergangsensitive implizite Belohnung, die vorteilhafte Reasoning-Muster verstärkt und fehlerhafte in atomaren Denksegmenten unterdrückt. Diese Neugewichtung formt token-basierte Signale zu wahrscheinlichkeitsbewussten Segmentbewertungen um und fördert kohärente Reasoning-Verläufe, die förderlicher für faktische Korrektheit sind. Empirische Auswertungen über vier faktische QA-Datensätze und einen Benchmark für Langform-Faktentreue zeigen, dass MR-ALIGN durchgängig Genauigkeit und Wahrhaftigkeit verbessert und dabei irreführendes Reasoning reduziert. Diese Ergebnisse unterstreichen, dass die Ausrichtung des Reasoning-Prozesses selbst, nicht nur der Outputs, entscheidend für die Verbesserung der Faktentreue in LRMs ist.

English

Large reasoning models (LRMs) show strong capabilities in complex reasoning, yet their marginal gains on evidence-dependent factual questions are limited. We find this limitation is partially attributable to a reasoning-answer hit gap, where the model identifies the correct facts during reasoning but fails to incorporate them into the final response, thereby reducing factual fidelity. To address this issue, we propose MR-ALIGN, a Meta-Reasoning informed alignment framework that enhances factuality without relying on external verifiers. MR-ALIGN quantifies state transition probabilities along the model's thinking process and constructs a transition-aware implicit reward that reinforces beneficial reasoning patterns while suppressing defective ones at the atomic thinking segments. This re-weighting reshapes token-level signals into probability-aware segment scores, encouraging coherent reasoning trajectories that are more conducive to factual correctness. Empirical evaluations across four factual QA datasets and one long-form factuality benchmark show that MR-ALIGN consistently improves accuracy and truthfulness while reducing misleading reasoning. These results highlight that aligning the reasoning process itself, rather than merely the outputs, is pivotal for advancing factuality in LRMs.