MR-Align : Alignement de la factualité informé par la méta-raisonnement pour les grands modèles de raisonnement

papers.abstract

Les grands modèles de raisonnement (LRM) démontrent d'impressionnantes capacités en raisonnement complexe, mais leurs gains marginaux sur les questions factuelles nécessitant des preuves restent limités. Nous constatons que cette limitation est partiellement attribuable à un décalage raisonnement-réponse, où le modèle identifie les faits corrects durant son raisonnement mais ne parvient pas à les intégrer dans la réponse finale, réduisant ainsi la fidélité factuelle. Pour résoudre ce problème, nous proposons MR-ALIGN, un cadre d'alignement basé sur le méta-raisonnement qui améliore la factualité sans recourir à des vérificateurs externes. MR-ALIGN quantifie les probabilités de transition d'état le long du processus de réflexion du modèle et construit une récompense implicite sensible aux transitions qui renforce les schémas de raisonnement bénéfiques tout en supprimant ceux défectueux au niveau des segments de pensée atomiques. Cette repondération transforme les signaux au niveau des tokens en scores de segments conscients des probabilités, favorisant des trajectoires de raisonnement cohérentes plus propices à l'exactitude factuelle. Les évaluations empiriques sur quatre ensembles de données de questions-réponses factuelles et un benchmark de factualité en texte long montrent que MR-ALIGN améliore constamment la précision et la véracité tout en réduisant le raisonnement trompeur. Ces résultats soulignent qu'aligner le processus de raisonnement lui-même, plutôt que simplement les sorties, est crucial pour faire progresser la factualité des LRM.

English

Large reasoning models (LRMs) show strong capabilities in complex reasoning, yet their marginal gains on evidence-dependent factual questions are limited. We find this limitation is partially attributable to a reasoning-answer hit gap, where the model identifies the correct facts during reasoning but fails to incorporate them into the final response, thereby reducing factual fidelity. To address this issue, we propose MR-ALIGN, a Meta-Reasoning informed alignment framework that enhances factuality without relying on external verifiers. MR-ALIGN quantifies state transition probabilities along the model's thinking process and constructs a transition-aware implicit reward that reinforces beneficial reasoning patterns while suppressing defective ones at the atomic thinking segments. This re-weighting reshapes token-level signals into probability-aware segment scores, encouraging coherent reasoning trajectories that are more conducive to factual correctness. Empirical evaluations across four factual QA datasets and one long-form factuality benchmark show that MR-ALIGN consistently improves accuracy and truthfulness while reducing misleading reasoning. These results highlight that aligning the reasoning process itself, rather than merely the outputs, is pivotal for advancing factuality in LRMs.

MR-Align : Alignement de la factualité informé par la méta-raisonnement pour les grands modèles de raisonnement

MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models

papers.abstract

Support