MR-Align: Alineación de Factualidad Basada en Meta-Razonamiento para Modelos de Razonamiento a Gran Escala

MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models

October 27, 2025

Autores: Xinming Wang, Jian Xu, Bin Yu, Sheng Lian, Hongzhu Yi, Yi Chen, Yingjian Zhu, Boran Wang, Hongming Yang, Han Hu, Xu-Yao Zhang, Cheng-Lin Liu

cs.AI

Resumen

Los grandes modelos de razonamiento (LRM) demuestran sólidas capacidades en razonamiento complejo, pero sus ganancias marginales en preguntas fácticas dependientes de evidencia son limitadas. Encontramos que esta limitación es parcialmente atribuible a una brecha de acierto razonamiento-respuesta, donde el modelo identifica los hechos correctos durante el razonamiento pero no logra incorporarlos en la respuesta final, reduciendo así la fidelidad factual. Para abordar este problema, proponemos MR-ALIGN, un marco de alineación basado en meta-razonamiento que mejora la factualidad sin depender de verificadores externos. MR-ALIGN cuantifica las probabilidades de transición de estado a lo largo del proceso de pensamiento del modelo y construye una recompensa implícita consciente de las transiciones que refuerza patrones de razonamiento beneficiosos mientras suprime los defectuosos en los segmentos atómicos de pensamiento. Esta reponderación remodela las señales a nivel de token en puntuaciones de segmento conscientes de la probabilidad, fomentando trayectorias de razonamiento coherentes que son más conducentes a la corrección factual. Las evaluaciones empíricas en cuatro conjuntos de datos de preguntas-respuestas fácticas y un benchmark de factualidad de formato largo muestran que MR-ALIGN mejora consistentemente la precisión y veracidad mientras reduce el razonamiento engañoso. Estos resultados destacan que alinear el proceso de razonamiento en sí mismo, en lugar de meramente las salidas, es crucial para avanzar en la factualidad de los LRM.

English

Large reasoning models (LRMs) show strong capabilities in complex reasoning, yet their marginal gains on evidence-dependent factual questions are limited. We find this limitation is partially attributable to a reasoning-answer hit gap, where the model identifies the correct facts during reasoning but fails to incorporate them into the final response, thereby reducing factual fidelity. To address this issue, we propose MR-ALIGN, a Meta-Reasoning informed alignment framework that enhances factuality without relying on external verifiers. MR-ALIGN quantifies state transition probabilities along the model's thinking process and constructs a transition-aware implicit reward that reinforces beneficial reasoning patterns while suppressing defective ones at the atomic thinking segments. This re-weighting reshapes token-level signals into probability-aware segment scores, encouraging coherent reasoning trajectories that are more conducive to factual correctness. Empirical evaluations across four factual QA datasets and one long-form factuality benchmark show that MR-ALIGN consistently improves accuracy and truthfulness while reducing misleading reasoning. These results highlight that aligning the reasoning process itself, rather than merely the outputs, is pivotal for advancing factuality in LRMs.