自己報酬化逐次モンテカルロ法によるマスク拡散言語モデル

要旨

本論文では、マスク拡散言語モデル（MDLM）の効果的なサンプリングを可能にする推論時スケーリングアルゴリズムである、自己報酬型逐次モンテカルロ（SMC）法を提案する。本アルゴリズムは、既存のMDLMの多くが信頼度ベースのサンプリング戦略に依存しているという観察に基づいている。この戦略では、各ステップで予測信頼度が最も高いトークンのみが保持される。これにより、ノイズに敏感で貪欲なデコーディングパラダイムに生成が制限され、可能な経路の多様性が不可避的に失われるという問題が生じる。我々はこの問題に対処するため、軌道探索を目的として、粒子と呼ばれる複数の相互作用する拡散過程を並列に起動する。重要な点として、粒子の重要度重みを割り当てるための自己報酬シグナルとして、軌道レベルの信頼度を導入する。サンプリング中、粒子は反復的に重み付けと再サンプリングが行われ、生成を体系的に大域的に信頼度の高い高品質なサンプルへと導く。提案する自己報酬型SMCは、様々なマスク拡散言語モデルとベンチマークで検証され、追加の学習や報酬ガイダンスなしで大幅な改善を達成するとともに、並列推論能力を効果的にサンプリング品質の向上に変換する。コードはhttps://github.com/Algolzw/self-rewarding-smc で公開されている。

English

This work presents self-rewarding sequential Monte Carlo (SMC), an inference-time scaling algorithm enabling effective sampling of masked diffusion language models (MDLMs). Our algorithm stems from the observation that most existing MDLMs rely on a confidence-based sampling strategy, where only tokens with the highest prediction confidence are preserved at each step. This restricts the generation to a noise-sensitive, greedy decoding paradigm, resulting in an inevitable collapse in the diversity of possible paths. We address this problem by launching multiple interacting diffusion processes in parallel, referred to as particles, for trajectory exploration. Importantly, we introduce the trajectory-level confidence as a self-rewarding signal for assigning particle importance weights. During sampling, particles are iteratively weighted and resampled to systematically steer generation towards globally confident, high-quality samples. Our self-rewarding SMC is verified on various masked diffusion language models and benchmarks, achieving significant improvement without extra training or reward guidance, while effectively converting parallel inference capacity into improved sampling quality. Our code is available at https://github.com/Algolzw/self-rewarding-smc.

自己報酬化逐次モンテカルロ法によるマスク拡散言語モデル

Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models

要旨

Support