Tijd is een kenmerk: Het benutten van temporele dynamiek in diffusie-taalmodellen

Samenvatting

Diffusie grote taalmodellen (dLLMs) genereren tekst door middel van iteratieve ruisverwijdering, maar huidige decodeerstrategieën negeren rijke tussenvoorspellingen ten gunste van de uiteindelijke uitvoer. Ons werk onthult een kritiek fenomeen, tijdelijke oscillatie, waarbij correcte antwoorden vaak in het midden van het proces ontstaan, maar worden overschreven in latere ruisverwijderingsstappen. Om dit probleem aan te pakken, introduceren we twee complementaire methoden die gebruikmaken van temporele consistentie: 1) Temporele Zelfconsistentie Stemming, een train-vrije, test-tijd decodeerstrategie die voorspellingen over ruisverwijderingsstappen aggregeert om de meest consistente uitvoer te selecteren; en 2) een post-trainingsmethode genaamd Temporele Consistentie Versterking, die Temporele Semantische Entropie (TSE), een maat voor semantische stabiliteit over tussenvoorspellingen, gebruikt als beloningssignaal om stabiele generaties aan te moedigen. Empirische resultaten over meerdere benchmarks demonstreren de effectiviteit van onze aanpak. Door alleen de negatieve TSE-beloning te gebruiken, observeren we een opmerkelijke gemiddelde verbetering van 24,7% op de Countdown-dataset ten opzichte van een bestaand dLLM. Gecombineerd met de nauwkeurigheidsbeloning behalen we absolute winsten van 2,0% op GSM8K, 4,3% op MATH500, 6,6% op SVAMP en 25,3% op Countdown. Onze bevindingen onderstrepen het onbenutte potentieel van temporele dynamiek in dLLMs en bieden twee eenvoudige maar effectieve tools om deze te benutten.

English

Diffusion large language models (dLLMs) generate text through iterative denoising, yet current decoding strategies discard rich intermediate predictions in favor of the final output. Our work here reveals a critical phenomenon, temporal oscillation, where correct answers often emerge in the middle process, but are overwritten in later denoising steps. To address this issue, we introduce two complementary methods that exploit temporal consistency: 1) Temporal Self-Consistency Voting, a training-free, test-time decoding strategy that aggregates predictions across denoising steps to select the most consistent output; and 2) a post-training method termed Temporal Consistency Reinforcement, which uses Temporal Semantic Entropy (TSE), a measure of semantic stability across intermediate predictions, as a reward signal to encourage stable generations. Empirical results across multiple benchmarks demonstrate the effectiveness of our approach. Using the negative TSE reward alone, we observe a remarkable average improvement of 24.7% on the Countdown dataset over an existing dLLM. Combined with the accuracy reward, we achieve absolute gains of 2.0% on GSM8K, 4.3% on MATH500, 6.6% on SVAMP, and 25.3% on Countdown, respectively. Our findings underscore the untapped potential of temporal dynamics in dLLMs and offer two simple yet effective tools to harness them.

Tijd is een kenmerk: Het benutten van temporele dynamiek in diffusie-taalmodellen

Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models

Samenvatting

Support