「今、誰がデコーディングを主導すべきか？マスク拡散言語モデルのアンサンブルのための信頼できる軌跡の追跡」

要旨

マスク拡散言語モデル（MDLM）は、系列生成における独自のパラダイムとして登場した。MDLMの能力や知識のカバレッジが多様化するにつれ、それらの知識をどのように統合するかが重要な課題となる。この課題に取り組むため、我々はまずMDLM特有の復号ダイナミクスを調査する。その結果、成功した生成では回答関連位置において信頼度ダイナミクスが安定している一方、信頼性の低い軌道は他のモデルから有望な中間状態を注入することで多くの場合改善できることが分かった。この観察に基づき、我々はTIE（軌道に基づく反復的アンサンブル）を提案する。これは、MDLMが信頼性の高い復号軌道を反復的に特定し、モデル間で中継する知識融合フレームワークである。TIEは回答関連位置における信頼度ダイナミクスを追跡し、どのモデルがより信頼性の高い軌道を現在たどっているかを判断し、部分的にノイズ除去された系列を選択的にモデル間で転送する。より有望な軌道上のモデルはノイズ除去ステップごとに変化することが多いため、TIEは生成の異なる段階で異なるモデルが相補的な強みを発揮することを可能にする。多様な推論タスクにおける優れた性能と、我々の分析は、TIEが未開拓のMDLMアンサンブル問題に対する実用的なアプローチを提供することを示唆している。

English

Masked Diffusion Language Models (MDLMs) have emerged as a distinct paradigm for sequence generation. As MDLMs become diverse in capabilities and knowledge coverage, an important question is how to combine their knowledge. Toward this, we first investigate the unique decoding dynamics of MDLMs. We find that successful generations exhibit stable confidence dynamics over answer-relevant positions, while unreliable trajectories can often be corrected by injecting promising intermediate states from other models. Guided by this observation, we propose TIE (Trajectory-based Iterative Ensembling), a knowledge fusion framework in which MDLMs iteratively identify reliable decoding trajectories and relay them across models. TIE tracks confidence dynamics over answer-relevant positions to determine which model currently follows a more reliable trajectory and selectively transfers partially denoised sequences across models. As the model on the more promising trajectory often changes across denoising steps, TIE allows different models to contribute complementary strengths at different stages of generation. Strong performance across diverse reasoning tasks, along with our analyses, suggests that TIE offers a practical approach to the underexplored problem of MDLM ensembling.