시간은 특징이다: 확산 언어 모델에서의 시간적 역학 활용

초록

확산 대형 언어 모델(dLLMs)은 반복적인 노이즈 제거를 통해 텍스트를 생성하지만, 현재의 디코딩 전략은 최종 출력을 선호하여 풍부한 중간 예측 결과를 버리고 있습니다. 본 연구에서는 정답이 중간 과정에서 나타나지만 후속 노이즈 제거 단계에서 덮어쓰이는 '시간적 진동(temporal oscillation)'이라는 중요한 현상을 밝혔습니다. 이 문제를 해결하기 위해, 우리는 시간적 일관성을 활용한 두 가지 상호 보완적인 방법을 제안합니다: 1) 훈련이 필요 없는 테스트 시점 디코딩 전략인 '시간적 자기 일관성 투표(Temporal Self-Consistency Voting)'로, 노이즈 제거 단계 전반에 걸친 예측을 집계하여 가장 일관된 출력을 선택하며; 2) 사후 훈련 방법인 '시간적 일관성 강화(Temporal Consistency Reinforcement)'로, 중간 예측 간의 의미적 안정성을 측정하는 '시간적 의미론적 엔트로피(Temporal Semantic Entropy, TSE)'를 보상 신호로 사용하여 안정적인 생성을 촉진합니다. 여러 벤치마크에서의 실험 결과는 우리의 접근 방식의 효과를 입증합니다. 단독으로 TSE 음의 보상을 사용했을 때, 기존 dLLM 대비 Countdown 데이터셋에서 평균 24.7%의 놀라운 성능 향상을 관찰했습니다. 정확도 보상과 결합했을 때는 GSM8K에서 2.0%, MATH500에서 4.3%, SVAMP에서 6.6%, Countdown에서 25.3%의 절대적 성능 향상을 달성했습니다. 이러한 발견은 dLLM의 시간적 동역학에서 아직 활용되지 않은 잠재력을 강조하며, 이를 활용하기 위한 간단하지만 효과적인 두 가지 도구를 제시합니다.

English

Diffusion large language models (dLLMs) generate text through iterative denoising, yet current decoding strategies discard rich intermediate predictions in favor of the final output. Our work here reveals a critical phenomenon, temporal oscillation, where correct answers often emerge in the middle process, but are overwritten in later denoising steps. To address this issue, we introduce two complementary methods that exploit temporal consistency: 1) Temporal Self-Consistency Voting, a training-free, test-time decoding strategy that aggregates predictions across denoising steps to select the most consistent output; and 2) a post-training method termed Temporal Consistency Reinforcement, which uses Temporal Semantic Entropy (TSE), a measure of semantic stability across intermediate predictions, as a reward signal to encourage stable generations. Empirical results across multiple benchmarks demonstrate the effectiveness of our approach. Using the negative TSE reward alone, we observe a remarkable average improvement of 24.7% on the Countdown dataset over an existing dLLM. Combined with the accuracy reward, we achieve absolute gains of 2.0% on GSM8K, 4.3% on MATH500, 6.6% on SVAMP, and 25.3% on Countdown, respectively. Our findings underscore the untapped potential of temporal dynamics in dLLMs and offer two simple yet effective tools to harness them.

시간은 특징이다: 확산 언어 모델에서의 시간적 역학 활용

Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models

초록

Support