推論デノイザ：大規模推論モデルにおける幻覚検出のための推論トレースのノイズ除去

要旨

大規模推論モデル（LRMs）は、最終回答を生成する前に長い推論過程を生成する。この推論過程には幻覚検出に有用な信号が含まれている可能性があるが、長い軌跡には真偽評価に関連する手がかりを不明瞭にするノイズのあるステップがしばしば含まれるため、これを活用することは容易ではない。本論文では、二つの一般的な推論ノイズの形態、すなわち無関係なステップと反復的なステップを特定し、これらの両方が幻覚検出性能を著しく低下させることを示す。既存の信頼度に基づくスコアや単純な埋め込みベースのフィルタリングでは、ノイズのあるステップと情報のあるステップを確実に分離できない。この課題に対処するため、我々は幻覚検出のための推論過程のノイズ除去を行う新たな学習フレームワークREDEを提案する。具体的には、REDEは最終回答の注意重みを自動的な教師信号として活用し、ステップレベルの表現空間を形成することで、ノイズのあるステップを確実に識別・フィルタリングできる改良された埋め込みを生成する。REDEは、ノイズのあるステップを除去したフィルタリング済み推論軌跡に対して動作することにより、多様な幻覚検出器に容易に組み込むことができる。複数の推論ベンチマークにおける広範な実験により、REDEが競争力のあるベースラインと比較して一貫して検出性能を向上させることを示す。

English

Large reasoning models (LRMs) generate long reasoning traces before producing final answers. While these traces may contain useful signals for hallucination detection, harnessing them is non-trivial because long trajectories often include noisy steps that obscure the cues relevant to truthfulness assessment. In this paper, we identify two prevalent forms of reasoning noises, i.e., irrelevant steps and repetitive steps, and show that both substantially degrade hallucination detection performance. Existing confidence-based scores and naive embedding-based filtering fail to reliably separate noisy from informative steps. To address this challenge, we propose REDE, a novel learning framework for denoising reasoning traces for hallucination detection. Specifically, REDE leverages final-answer attention as an automatic supervision signal to shape the step-level representation space, yielding refined embeddings in which noisy steps can be reliably identified and filtered. REDE can be readily plugged into diverse hallucination detectors by operating on the filtered reasoning trajectory after removing noisy steps. Extensive experiments on multiple reasoning benchmarks show that REDE consistently improves detection performance over competitive baselines.