Zeit ist ein Merkmal: Ausnutzung zeitlicher Dynamiken in Diffusions-Sprachmodellen

Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models

August 12, 2025

papers.authors: Wen Wang, Bozhen Fang, Chenchen Jing, Yongliang Shen, Yangyi Shen, Qiuyu Wang, Hao Ouyang, Hao Chen, Chunhua Shen

cs.AI

papers.abstract

Diffusion Large Language Models (dLLMs) erzeugen Text durch iteratives Entrauschen, doch aktuelle Dekodierungsstrategien verwerfen die reichhaltigen Zwischenvorhersagen zugunsten des finalen Outputs. Unsere Arbeit enthüllt hier ein kritisches Phänomen, die zeitliche Oszillation, bei der korrekte Antworten oft im mittleren Prozess entstehen, aber in späteren Entrauschungsschritten überschrieben werden. Um dieses Problem zu adressieren, führen wir zwei komplementäre Methoden ein, die zeitliche Konsistenz nutzen: 1) Temporal Self-Consistency Voting, eine trainingsfreie Dekodierungsstrategie zur Testzeit, die Vorhersagen über Entrauschungsschritte hinweg aggregiert, um den konsistentesten Output auszuwählen; und 2) eine nachträgliche Trainingsmethode namens Temporal Consistency Reinforcement, die Temporal Semantic Entropy (TSE), ein Maß für semantische Stabilität über Zwischenvorhersagen hinweg, als Belohnungssignal verwendet, um stabile Generierungen zu fördern. Empirische Ergebnisse über mehrere Benchmarks hinweg demonstrieren die Wirksamkeit unseres Ansatzes. Allein durch die Verwendung des negativen TSE-Belohnungssignals beobachten wir eine bemerkenswerte durchschnittliche Verbesserung von 24,7 % auf dem Countdown-Datensatz gegenüber einem bestehenden dLLM. In Kombination mit dem Genauigkeits-Belohnungssignal erzielen wir absolute Gewinne von 2,0 % auf GSM8K, 4,3 % auf MATH500, 6,6 % auf SVAMP und 25,3 % auf Countdown. Unsere Erkenntnisse unterstreichen das ungenutzte Potenzial der zeitlichen Dynamik in dLLMs und bieten zwei einfache, aber effektive Werkzeuge, um sie zu nutzen.

English

Diffusion large language models (dLLMs) generate text through iterative denoising, yet current decoding strategies discard rich intermediate predictions in favor of the final output. Our work here reveals a critical phenomenon, temporal oscillation, where correct answers often emerge in the middle process, but are overwritten in later denoising steps. To address this issue, we introduce two complementary methods that exploit temporal consistency: 1) Temporal Self-Consistency Voting, a training-free, test-time decoding strategy that aggregates predictions across denoising steps to select the most consistent output; and 2) a post-training method termed Temporal Consistency Reinforcement, which uses Temporal Semantic Entropy (TSE), a measure of semantic stability across intermediate predictions, as a reward signal to encourage stable generations. Empirical results across multiple benchmarks demonstrate the effectiveness of our approach. Using the negative TSE reward alone, we observe a remarkable average improvement of 24.7% on the Countdown dataset over an existing dLLM. Combined with the accuracy reward, we achieve absolute gains of 2.0% on GSM8K, 4.3% on MATH500, 6.6% on SVAMP, and 25.3% on Countdown, respectively. Our findings underscore the untapped potential of temporal dynamics in dLLMs and offer two simple yet effective tools to harness them.