O Tempo é uma Característica: Explorando Dinâmicas Temporais em Modelos de Linguagem de Difusão

Resumo

Modelos de linguagem de grande escala baseados em difusão (dLLMs) geram texto por meio de desruídos iterativos, mas as estratégias atuais de decodificação descartam previsões intermediárias ricas em favor da saída final. Nosso trabalho aqui revela um fenômeno crítico, a oscilação temporal, em que respostas corretas frequentemente surgem no processo intermediário, mas são sobrescritas em etapas posteriores de desruído. Para abordar esse problema, introduzimos dois métodos complementares que exploram a consistência temporal: 1) Votação de Autoconsistência Temporal, uma estratégia de decodificação sem treinamento, aplicada durante o teste, que agrega previsões ao longo das etapas de desruído para selecionar a saída mais consistente; e 2) um método pós-treinamento denominado Reforço de Consistência Temporal, que utiliza a Entropia Semântica Temporal (TSE), uma medida de estabilidade semântica entre previsões intermediárias, como sinal de recompensa para incentivar gerações estáveis. Resultados empíricos em múltiplos benchmarks demonstram a eficácia de nossa abordagem. Usando apenas a recompensa negativa de TSE, observamos uma melhoria média notável de 24,7% no conjunto de dados Countdown em relação a um dLLM existente. Combinado com a recompensa de precisão, alcançamos ganhos absolutos de 2,0% no GSM8K, 4,3% no MATH500, 6,6% no SVAMP e 25,3% no Countdown, respectivamente. Nossas descobertas destacam o potencial inexplorado da dinâmica temporal em dLLMs e oferecem duas ferramentas simples, porém eficazes, para aproveitá-las.

English

Diffusion large language models (dLLMs) generate text through iterative denoising, yet current decoding strategies discard rich intermediate predictions in favor of the final output. Our work here reveals a critical phenomenon, temporal oscillation, where correct answers often emerge in the middle process, but are overwritten in later denoising steps. To address this issue, we introduce two complementary methods that exploit temporal consistency: 1) Temporal Self-Consistency Voting, a training-free, test-time decoding strategy that aggregates predictions across denoising steps to select the most consistent output; and 2) a post-training method termed Temporal Consistency Reinforcement, which uses Temporal Semantic Entropy (TSE), a measure of semantic stability across intermediate predictions, as a reward signal to encourage stable generations. Empirical results across multiple benchmarks demonstrate the effectiveness of our approach. Using the negative TSE reward alone, we observe a remarkable average improvement of 24.7% on the Countdown dataset over an existing dLLM. Combined with the accuracy reward, we achieve absolute gains of 2.0% on GSM8K, 4.3% on MATH500, 6.6% on SVAMP, and 25.3% on Countdown, respectively. Our findings underscore the untapped potential of temporal dynamics in dLLMs and offer two simple yet effective tools to harness them.

O Tempo é uma Característica: Explorando Dinâmicas Temporais em Modelos de Linguagem de Difusão

Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models

Resumo

Support