MR-Align: Alinhamento de Factualidade Baseado em Meta-Raciocínio para Grandes Modelos de Raciocínio

MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models

October 27, 2025

Autores: Xinming Wang, Jian Xu, Bin Yu, Sheng Lian, Hongzhu Yi, Yi Chen, Yingjian Zhu, Boran Wang, Hongming Yang, Han Hu, Xu-Yao Zhang, Cheng-Lin Liu

cs.AI

Resumo

Os grandes modelos de raciocínio (LRMs) demonstram fortes capacidades em raciocínio complexo, mas seus ganhos marginais em questões factuais dependentes de evidências são limitados. Descobrimos que essa limitação é parcialmente atribuível a uma lacuna de acerto raciocínio-resposta, na qual o modelo identifica os fatos corretos durante o raciocínio, mas falha em incorporá-los na resposta final, reduzindo assim a fidelidade factual. Para resolver esse problema, propomos o MR-ALIGN, uma estrutura de alinhamento baseada em Meta-Raciocínio que melhora a factualidade sem depender de verificadores externos. O MR-ALIGN quantifica as probabilidades de transição de estado ao longo do processo de pensamento do modelo e constrói uma recompensa implícita consciente da transição que reforça padrões de raciocínio benéficos enquanto suprime os defeituosos nos segmentos atômicos do pensamento. Essa reavaliação remodela os sinais a nível de token em pontuações de segmento conscientes da probabilidade, incentivando trajetórias de raciocínio coerentes que são mais propícias à correção factual. Avaliações empíricas em quatro conjuntos de dados de QA factual e um benchmark de factualidade de formato longo mostram que o MR-ALIGN melhora consistentemente a precisão e a veracidade, reduzindo ao mesmo tempo o raciocínio enganoso. Esses resultados destacam que alinhar o próprio processo de raciocínio, e não meramente as saídas, é crucial para avançar a factualidade nos LRMs.

English

Large reasoning models (LRMs) show strong capabilities in complex reasoning, yet their marginal gains on evidence-dependent factual questions are limited. We find this limitation is partially attributable to a reasoning-answer hit gap, where the model identifies the correct facts during reasoning but fails to incorporate them into the final response, thereby reducing factual fidelity. To address this issue, we propose MR-ALIGN, a Meta-Reasoning informed alignment framework that enhances factuality without relying on external verifiers. MR-ALIGN quantifies state transition probabilities along the model's thinking process and constructs a transition-aware implicit reward that reinforces beneficial reasoning patterns while suppressing defective ones at the atomic thinking segments. This re-weighting reshapes token-level signals into probability-aware segment scores, encouraging coherent reasoning trajectories that are more conducive to factual correctness. Empirical evaluations across four factual QA datasets and one long-form factuality benchmark show that MR-ALIGN consistently improves accuracy and truthfulness while reducing misleading reasoning. These results highlight that aligning the reasoning process itself, rather than merely the outputs, is pivotal for advancing factuality in LRMs.