Le temps est une caractéristique : exploiter les dynamiques temporelles dans les modèles de langage à diffusion

Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models

August 12, 2025

papers.authors: Wen Wang, Bozhen Fang, Chenchen Jing, Yongliang Shen, Yangyi Shen, Qiuyu Wang, Hao Ouyang, Hao Chen, Chunhua Shen

cs.AI

papers.abstract

Les modèles de langage à grande échelle par diffusion (dLLMs) génèrent du texte par débruitage itératif, mais les stratégies de décodage actuelles écartent les prédictions intermédiaires riches au profit de la sortie finale. Notre travail révèle ici un phénomène critique, l'oscillation temporelle, où les réponses correctes émergent souvent au cours du processus intermédiaire, mais sont écrasées lors des étapes ultérieures de débruitage. Pour résoudre ce problème, nous introduisons deux méthodes complémentaires qui exploitent la cohérence temporelle : 1) le Vote d'Auto-Cohérence Temporelle, une stratégie de décodage sans apprentissage au moment du test qui agrège les prédictions à travers les étapes de débruitage pour sélectionner la sortie la plus cohérente ; et 2) une méthode post-apprentissage appelée Renforcement de la Cohérence Temporelle, qui utilise l'Entropie Sémantique Temporelle (TSE), une mesure de la stabilité sémantique des prédictions intermédiaires, comme signal de récompense pour encourager des générations stables. Les résultats empiriques sur plusieurs benchmarks démontrent l'efficacité de notre approche. En utilisant uniquement la récompense TSE négative, nous observons une amélioration moyenne remarquable de 24,7 % sur le jeu de données Countdown par rapport à un dLLM existant. Combinée avec la récompense de précision, nous obtenons des gains absolus de 2,0 % sur GSM8K, 4,3 % sur MATH500, 6,6 % sur SVAMP et 25,3 % sur Countdown, respectivement. Nos résultats soulignent le potentiel inexploité des dynamiques temporelles dans les dLLMs et offrent deux outils simples mais efficaces pour les exploiter.

English

Diffusion large language models (dLLMs) generate text through iterative denoising, yet current decoding strategies discard rich intermediate predictions in favor of the final output. Our work here reveals a critical phenomenon, temporal oscillation, where correct answers often emerge in the middle process, but are overwritten in later denoising steps. To address this issue, we introduce two complementary methods that exploit temporal consistency: 1) Temporal Self-Consistency Voting, a training-free, test-time decoding strategy that aggregates predictions across denoising steps to select the most consistent output; and 2) a post-training method termed Temporal Consistency Reinforcement, which uses Temporal Semantic Entropy (TSE), a measure of semantic stability across intermediate predictions, as a reward signal to encourage stable generations. Empirical results across multiple benchmarks demonstrate the effectiveness of our approach. Using the negative TSE reward alone, we observe a remarkable average improvement of 24.7% on the Countdown dataset over an existing dLLM. Combined with the accuracy reward, we achieve absolute gains of 2.0% on GSM8K, 4.3% on MATH500, 6.6% on SVAMP, and 25.3% on Countdown, respectively. Our findings underscore the untapped potential of temporal dynamics in dLLMs and offer two simple yet effective tools to harness them.