진행 상황 인식 신뢰도 스케줄링을 통한 고속 디코딩 확산 언어 모델

초록

확산 대형 언어 모델(dLLM)은 자기회귀 모델에 대한 유망한 대안이지만, 느리고 반복적인 샘플링으로 인해 실제 활용도가 크게 제한됩니다. 본 연구에서는 전체 범위 로짓 마진을 집계하고, 원활하며 진행 상황에 따른 신뢰도 임계값에 도달하면 디코딩을 중단하는 학습 불필요 및 모델 독립적인 조기 종료 알고리즘인 SchED를 제안합니다. SchED를 두 가지 dLLM 패밀리(Dream 및 LLaDA)의 기본 및 지시어 튜닝 변형에 대해, 객관식 질의응답(MCQ), 수학, 장문 QA/요약, 번역을 포함한 하위 작업들로 구성된 10개 벤치마크에서 평가했습니다. SchED는 크고 안정적인 가속 효과를 제공합니다: 지시어 튜닝 모델에서는 평균 3.8-4.0배의 속도 향상을 달성하면서 기준 점수의 99.8-100%를 유지했습니다. 기본 모델에서는 99.1-100%의 성능 유지와 함께 일관된 속도 향상 이점을 제공하며, 더 공격적인 설정에서 최대 2.34배의 속도 향상을 보였습니다. 품질 손실에 대해 엄격하게 패널티를 부과(γ=4)하는 보수적인 속도 지표(QPS)를 사용하여 SchED가 강력하며, 장문 생성에서 제대로 작동하지 않는 기존 신뢰도 기반 조기 종료 방법들을 명확히 능가함을 보여줍니다. 모델의 토큰 예측에 대한 엔트로피 분석 결과, 지시어 튜닝이 예측 엔트로피의 감소 속도를 높이는 것으로 나타났습니다. 진정한 신뢰도 안정화를 계산 효율로 전환함으로써, SchED는 dLLM 디코딩을 상당히 더 효율적으로 만듭니다.

English

Diffusion large language models (dLLMs) offer a promising alternative to autoregressive models, but their practical utility is severely hampered by slow, iterative sampling. We present SchED, a training-free, model-agnostic early-exit algorithm that aggregates full-span logit margins and halts decoding once a smooth, progress-dependent confidence threshold is met. We evaluated SchED on two dLLM families (Dream and LLaDA), in base and instruction-tuned variants across ten benchmarks spanning downstream tasks including multiple-choice question answering (MCQ), math, long-form QA/summarization, and translation. SchED delivers large, stable accelerations: on instruction-tuned models, it achieves 3.8-4.0times speedups while retaining 99.8-100% of the baseline score on average. On base models, SchED yields consistent speedup gains with 99.1-100% performance retention, with up to 2.34times under more aggressive settings. Using a conservative speed metric that heavily penalizes quality loss (QPS, γ{=}4), we show that SchED is robust and clearly outperforms prior confidence-based early-exit methods, which break down on long-form generation. An entropy analysis of the model's token predictions reveals that instruction tuning speeds up the decay of predictive entropy. By turning genuine confidence stabilization into computational savings, SchED makes dLLM decoding substantially more efficient.

진행 상황 인식 신뢰도 스케줄링을 통한 고속 디코딩 확산 언어 모델

Fast-Decoding Diffusion Language Models via Progress-Aware Confidence Schedules

초록

Support