MR-Align: Meta-Redeneerinformatie voor Factuele Afstemming bij Grote Redeneermodellen

Samenvatting

Grote redeneermodellen (LRM's) vertonen sterke capaciteiten voor complex redeneren, maar hun marginale winst op feitelijke vragen die afhankelijk zijn van bewijs is beperkt. Wij constateren dat deze beperking gedeeltelijk toe te schrijven is aan een *reasoning-answer hit gap* (een kloof tussen redeneren en antwoordtreffer), waarbij het model de juiste feiten tijdens het redeneren identificeert maar er niet in slaagt deze te integreren in het uiteindelijke antwoord, waardoor de feitelijke nauwkeurigheid afneemt. Om dit probleem aan te pakken, stellen we MR-ALIGN voor, een *Meta-Reasoning informed alignment* kader dat de feitelijkheid verbetert zonder afhankelijk te zijn van externe verificateurs. MR-ALIGN kwantificeert de waarschijnlijkheden van toestandsovergangen tijdens het denkproces van het model en construeert een op overgangen geënte impliciete beloning die nuttige redeneerpatronen versterkt en defecte onderdrukt op het niveau van atomische denksegmenten. Deze herweging transformeert signaal op tokenniveau naar waarschijnlijkheidsgevoelige segmentscores, wat coherente redeneertrajecten bevordert die meer bevorderlijk zijn voor feitelijke correctheid. Empirische evaluaties op vier feitelijke vraag-antwoorddatasets en een benchmark voor feitelijkheid in lange vorm tonen aan dat MR-ALIGN consistent de nauwkeurigheid en waarheidsgetrouwheid verbetert en misleidend redeneren vermindert. Deze resultaten benadrukken dat het afstemmen van het redeneerproces zelf, in plaats van slechts de uitvoeren, cruciaal is voor het bevorderen van feitelijkheid in LRM's.

English

Large reasoning models (LRMs) show strong capabilities in complex reasoning, yet their marginal gains on evidence-dependent factual questions are limited. We find this limitation is partially attributable to a reasoning-answer hit gap, where the model identifies the correct facts during reasoning but fails to incorporate them into the final response, thereby reducing factual fidelity. To address this issue, we propose MR-ALIGN, a Meta-Reasoning informed alignment framework that enhances factuality without relying on external verifiers. MR-ALIGN quantifies state transition probabilities along the model's thinking process and constructs a transition-aware implicit reward that reinforces beneficial reasoning patterns while suppressing defective ones at the atomic thinking segments. This re-weighting reshapes token-level signals into probability-aware segment scores, encouraging coherent reasoning trajectories that are more conducive to factual correctness. Empirical evaluations across four factual QA datasets and one long-form factuality benchmark show that MR-ALIGN consistently improves accuracy and truthfulness while reducing misleading reasoning. These results highlight that aligning the reasoning process itself, rather than merely the outputs, is pivotal for advancing factuality in LRMs.

MR-Align: Meta-Redeneerinformatie voor Factuele Afstemming bij Grote Redeneermodellen

MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models

Samenvatting

Support