확산 LLM에서 이산성의 역할에 관하여

초록

확산 모델은 병렬 디코딩과 반복적 정제와 같은 언어 생성에 대한 매력적인 특성을 제공하지만, 텍스트의 이산적이고 높은 구조화된 특성으로 인해 확산 원리의 직접적 적용에는 어려움이 있습니다. 본 논문에서는 확산 과정과 언어 모델링의 관점에서 확산 언어 모델링을 재검토하며, 확산 메커니즘이 언어별 요구사항과 구분되는 다섯 가지 속성을 제시합니다. 먼저 기존 접근법을 임베딩 공간에서의 연속 확산과 토큰 기반의 이산 확산으로 분류합니다. 이후 각 접근법이 다섯 가지 필수 속성의 일부만을 충족하므로 구조적 절충을 반영함을 보입니다. 최근 대규모 확산 언어 모델 분석을 통해 두 가지 핵심 문제를 확인했습니다: (i) 균일한 손상은 정보가 위치에 따라 어떻게 분포하는지를 고려하지 않으며, (ii) 토큰 단위 주변 훈련은 병렬 디코딩 과정에서 다중 토큰 의존성을 포착할 수 없습니다. 이러한 관찰은 텍스트 구조와 더욱 일치하는 확산 과정의 필요성을 시사하며, 더욱 일관성 있는 확산 언어 모델을 위한 향후 연구를 촉진합니다.

English

Diffusion models offer appealing properties for language generation, such as parallel decoding and iterative refinement, but the discrete and highly structured nature of text challenges the direct application of diffusion principles. In this paper, we revisit diffusion language modeling from the view of diffusion process and language modeling, and outline five properties that separate diffusion mechanics from language-specific requirements. We first categorize existing approaches into continuous diffusion in embedding space and discrete diffusion over tokens. We then show that each satisfies only part of the five essential properties and therefore reflects a structural trade-off. Through analyses of recent large diffusion language models, we identify two central issues: (i) uniform corruption does not respect how information is distributed across positions, and (ii) token-wise marginal training cannot capture multi-token dependencies during parallel decoding. These observations motivate diffusion processes that align more closely with the structure of text, and encourage future work toward more coherent diffusion language models.

확산 LLM에서 이산성의 역할에 관하여

On the Role of Discreteness in Diffusion LLMs

초록

Support