MR-Align: Выравнивание фактической достоверности крупных моделей рассуждений на основе метарассуждений

MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models

October 27, 2025

Авторы: Xinming Wang, Jian Xu, Bin Yu, Sheng Lian, Hongzhu Yi, Yi Chen, Yingjian Zhu, Boran Wang, Hongming Yang, Han Hu, Xu-Yao Zhang, Cheng-Lin Liu

cs.AI

Аннотация

Крупные модели рассуждений (LRM) демонстрируют высокие способности к сложным логическим выводам, однако их предельная эффективность при решении фактологических вопросов, требующих опоры на доказательства, ограничена. Мы обнаружили, что это ограничение частично обусловлено разрывом между рассуждением и ответом: модель корректно идентифицирует факты в процессе рассуждения, но не интегрирует их в итоговый ответ, что снижает фактическую достоверность. Для решения этой проблемы мы предлагаем MR-ALIGN — фреймворк мета-рассуждений для согласования, повышающий фактическую точность без привлечения внешних верификаторов. MR-ALIGN количественно оценивает вероятности переходов состояний в процессе мышления модели и создаёт неявное вознаграждение, учитывающее эти переходы, которое усиливает полезные паттерны рассуждений и подавляет ошибочные на уровне атомарных сегментов мышления. Такое перевзвешивание преобразует сигналы на уровне токенов в оценки сегментов с учётом вероятностей, способствуя созданию согласованных траекторий рассуждений, более благоприятных для фактической точности. Эмпирические оценки на четырёх наборах данных фактологических вопросов-ответов и одном бенчмарке достоверности длинных текстов показывают, что MR-ALIGN последовательно улучшает точность и правдивость, одновременно снижая количество вводящих в заблуждение рассуждений. Эти результаты подчёркивают, что согласование самого процесса рассуждений, а не только выходных данных, является ключевым для повышения фактической достоверности в LRM.

English

Large reasoning models (LRMs) show strong capabilities in complex reasoning, yet their marginal gains on evidence-dependent factual questions are limited. We find this limitation is partially attributable to a reasoning-answer hit gap, where the model identifies the correct facts during reasoning but fails to incorporate them into the final response, thereby reducing factual fidelity. To address this issue, we propose MR-ALIGN, a Meta-Reasoning informed alignment framework that enhances factuality without relying on external verifiers. MR-ALIGN quantifies state transition probabilities along the model's thinking process and constructs a transition-aware implicit reward that reinforces beneficial reasoning patterns while suppressing defective ones at the atomic thinking segments. This re-weighting reshapes token-level signals into probability-aware segment scores, encouraging coherent reasoning trajectories that are more conducive to factual correctness. Empirical evaluations across four factual QA datasets and one long-form factuality benchmark show that MR-ALIGN consistently improves accuracy and truthfulness while reducing misleading reasoning. These results highlight that aligning the reasoning process itself, rather than merely the outputs, is pivotal for advancing factuality in LRMs.