時間は特徴である：拡散言語モデルにおける時間的ダイナミクスの活用

Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models

August 12, 2025

著者: Wen Wang, Bozhen Fang, Chenchen Jing, Yongliang Shen, Yangyi Shen, Qiuyu Wang, Hao Ouyang, Hao Chen, Chunhua Shen

cs.AI

要旨

拡散型大規模言語モデル（dLLM）は反復的なノイズ除去を通じてテキストを生成しますが、現在のデコード戦略では最終出力を優先し、豊富な中間予測を捨てています。本研究では、正しい答えが中間プロセスで現れるものの、後のノイズ除去ステップで上書きされるという重要な現象、時間的振動（temporal oscillation）を明らかにします。この問題に対処するため、時間的一貫性を活用する2つの補完的な手法を導入します：1）時間的自己一貫性投票（Temporal Self-Consistency Voting）は、訓練不要のテスト時デコード戦略で、ノイズ除去ステップ全体の予測を集約し、最も一貫性のある出力を選択します；2）訓練後の手法である時間的一貫性強化（Temporal Consistency Reinforcement）は、中間予測間の意味的安定性を測る指標である時間的意味エントロピー（Temporal Semantic Entropy, TSE）を報酬信号として使用し、安定した生成を促します。複数のベンチマークでの実験結果は、本手法の有効性を示しています。負のTSE報酬のみを使用することで、既存のdLLMに対してCountdownデータセットで平均24.7%の顕著な改善を観測しました。精度報酬と組み合わせることで、GSM8Kで2.0%、MATH500で4.3%、SVAMPで6.6%、Countdownで25.3%の絶対的な向上を達成しました。本研究は、dLLMにおける時間的ダイナミクスの未開拓の可能性を強調し、それを活用するための2つのシンプルかつ効果的なツールを提供します。

English

Diffusion large language models (dLLMs) generate text through iterative denoising, yet current decoding strategies discard rich intermediate predictions in favor of the final output. Our work here reveals a critical phenomenon, temporal oscillation, where correct answers often emerge in the middle process, but are overwritten in later denoising steps. To address this issue, we introduce two complementary methods that exploit temporal consistency: 1) Temporal Self-Consistency Voting, a training-free, test-time decoding strategy that aggregates predictions across denoising steps to select the most consistent output; and 2) a post-training method termed Temporal Consistency Reinforcement, which uses Temporal Semantic Entropy (TSE), a measure of semantic stability across intermediate predictions, as a reward signal to encourage stable generations. Empirical results across multiple benchmarks demonstrate the effectiveness of our approach. Using the negative TSE reward alone, we observe a remarkable average improvement of 24.7% on the Countdown dataset over an existing dLLM. Combined with the accuracy reward, we achieve absolute gains of 2.0% on GSM8K, 4.3% on MATH500, 6.6% on SVAMP, and 25.3% on Countdown, respectively. Our findings underscore the untapped potential of temporal dynamics in dLLMs and offer two simple yet effective tools to harness them.