Время как признак: использование временной динамики в диффузионных языковых моделях

Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models

August 12, 2025

Авторы: Wen Wang, Bozhen Fang, Chenchen Jing, Yongliang Shen, Yangyi Shen, Qiuyu Wang, Hao Ouyang, Hao Chen, Chunhua Shen

cs.AI

Аннотация

Диффузионные языковые модели большого масштаба (dLLMs) генерируют текст через итеративное удаление шума, однако текущие стратегии декодирования отбрасывают богатые промежуточные прогнозы в пользу финального результата. Наша работа выявляет критическое явление — временные колебания, когда правильные ответы часто появляются в середине процесса, но перезаписываются на последующих этапах удаления шума. Для решения этой проблемы мы предлагаем два взаимодополняющих метода, использующих временную согласованность: 1) Голосование по временной самосогласованности — стратегия декодирования на этапе тестирования, не требующая обучения, которая агрегирует прогнозы на разных этапах удаления шума для выбора наиболее согласованного результата; и 2) метод пост-обучения, названный Усилением временной согласованности, который использует Временную семантическую энтропию (TSE) — меру семантической стабильности промежуточных прогнозов — в качестве сигнала вознаграждения для поощрения стабильных генераций. Эмпирические результаты на множестве бенчмарков демонстрируют эффективность нашего подхода. Используя только отрицательное вознаграждение TSE, мы наблюдаем впечатляющее среднее улучшение на 24,7% на наборе данных Countdown по сравнению с существующей dLLM. В сочетании с вознаграждением за точность мы достигаем абсолютного прироста на 2,0% на GSM8K, 4,3% на MATH500, 6,6% на SVAMP и 25,3% на Countdown. Наши результаты подчеркивают неиспользованный потенциал временной динамики в dLLMs и предлагают два простых, но эффективных инструмента для её использования.

English

Diffusion large language models (dLLMs) generate text through iterative denoising, yet current decoding strategies discard rich intermediate predictions in favor of the final output. Our work here reveals a critical phenomenon, temporal oscillation, where correct answers often emerge in the middle process, but are overwritten in later denoising steps. To address this issue, we introduce two complementary methods that exploit temporal consistency: 1) Temporal Self-Consistency Voting, a training-free, test-time decoding strategy that aggregates predictions across denoising steps to select the most consistent output; and 2) a post-training method termed Temporal Consistency Reinforcement, which uses Temporal Semantic Entropy (TSE), a measure of semantic stability across intermediate predictions, as a reward signal to encourage stable generations. Empirical results across multiple benchmarks demonstrate the effectiveness of our approach. Using the negative TSE reward alone, we observe a remarkable average improvement of 24.7% on the Countdown dataset over an existing dLLM. Combined with the accuracy reward, we achieve absolute gains of 2.0% on GSM8K, 4.3% on MATH500, 6.6% on SVAMP, and 25.3% on Countdown, respectively. Our findings underscore the untapped potential of temporal dynamics in dLLMs and offer two simple yet effective tools to harness them.