MR-Align: Allineamento della Fattualità Basato sul Meta-Ragionamento per Modelli di Ragionamento di Grande Scala

MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models

October 27, 2025

Autori: Xinming Wang, Jian Xu, Bin Yu, Sheng Lian, Hongzhu Yi, Yi Chen, Yingjian Zhu, Boran Wang, Hongming Yang, Han Hu, Xu-Yao Zhang, Cheng-Lin Liu

cs.AI

Abstract

I grandi modelli di ragionamento (LRM) dimostrano notevoli capacità nel ragionamento complesso, ma i loro miglioramenti marginali su domande fattuali dipendenti da evidenze sono limitati. Riteniamo che questa limitazione sia parzialmente attribuibile a un divario di corrispondenza ragionamento-risposta (reasoning-answer hit gap), in cui il modello identifica i fatti corretti durante il ragionamento ma non riesce a incorporarli nella risposta finale, riducendo così la fedeltà fattuale. Per affrontare questo problema, proponiamo MR-ALIGN, un framework di allineamento basato sul meta-ragionamento (Meta-Reasoning) che migliora la fattualità senza fare affidamento su verificatori esterni. MR-ALIGN quantifica le probabilità di transizione di stato lungo il processo di pensiero del modello e costruisce una ricompensa implicita consapevole delle transizioni (transition-aware) che rinforza gli schemi di ragionamento vantaggiosi sopprimendo al contempo quelli difettosi a livello dei segmenti atomici del pensiero. Questa ripesatura rimodella i segnali a livello di token in punteggi di segmento consapevoli della probabilità, incoraggiando traiettorie di ragionamento coerenti più favorevoli alla correttezza fattuale. Valutazioni empiriche su quattro dataset di QA fattuali e un benchmark di fattualità per testi lunghi mostrano che MR-ALIGN migliora costantemente accuratezza e veridicità, riducendo al contempo il ragionamento fuorviante. Questi risultati evidenziano che allineare il processo di ragionamento stesso, piuttosto che solo i suoi output, è cruciale per far progredire la fattualità negli LRM.

English

Large reasoning models (LRMs) show strong capabilities in complex reasoning, yet their marginal gains on evidence-dependent factual questions are limited. We find this limitation is partially attributable to a reasoning-answer hit gap, where the model identifies the correct facts during reasoning but fails to incorporate them into the final response, thereby reducing factual fidelity. To address this issue, we propose MR-ALIGN, a Meta-Reasoning informed alignment framework that enhances factuality without relying on external verifiers. MR-ALIGN quantifies state transition probabilities along the model's thinking process and constructs a transition-aware implicit reward that reinforces beneficial reasoning patterns while suppressing defective ones at the atomic thinking segments. This re-weighting reshapes token-level signals into probability-aware segment scores, encouraging coherent reasoning trajectories that are more conducive to factual correctness. Empirical evaluations across four factual QA datasets and one long-form factuality benchmark show that MR-ALIGN consistently improves accuracy and truthfulness while reducing misleading reasoning. These results highlight that aligning the reasoning process itself, rather than merely the outputs, is pivotal for advancing factuality in LRMs.