Непрерывная диффузионная модель для языкового моделирования

Continuous Diffusion Model for Language Modeling

February 17, 2025

Авторы: Jaehyeong Jo, Sung Ju Hwang

cs.AI

Аннотация

Диффузионные модели стали перспективной альтернативой авторегрессионным моделям для работы с дискретными категориальными данными. Однако диффузионные модели, которые непосредственно работают с дискретным пространством данных, не полностью используют потенциал итеративного уточнения, так как сигналы теряются при переходе между дискретными состояниями. Существующие непрерывные диффузионные модели для дискретных данных демонстрируют ограниченную производительность по сравнению с дискретными подходами, а неясная связь между ними сдерживает развитие диффузионных моделей для дискретных данных. В данной работе мы предлагаем непрерывную диффузионную модель для языкового моделирования, которая учитывает геометрию базового категориального распределения. Мы устанавливаем связь между дискретной диффузией и непрерывным потоком на статистическом многообразии и, основываясь на этой аналогии, вводим простую конструкцию для процесса диффузии, которая обобщает предыдущие дискретные диффузионные модели. Дополнительно мы предлагаем метод обучения без симуляции, основанный на радиальной симметрии, и простую технику для работы с высокой размерностью многообразия. Комплексные эксперименты на задачах языкового моделирования и других модальностях показывают, что наш метод превосходит существующие дискретные диффузионные модели и приближается к производительности авторегрессионных моделей. Код доступен по адресу https://github.com/harryjo97/RDLM{https://github.com/harryjo97/RDLM}.

English

Diffusion models have emerged as a promising alternative to autoregressive models in modeling discrete categorical data. Yet diffusion models that directly work on discrete data space do not fully exploit the power of iterative refinement, as the signals are lost during the transition between discrete states. Existing continuous diffusion models for discrete data have limited performance compared to discrete approaches, and the unclear link between them restricts the development of diffusion models for discrete data. In this work, we propose a continuous diffusion model for language modeling that incorporates the geometry of the underlying categorical distribution. We establish a connection between the discrete diffusion and continuous flow on the statistical manifold, and building on the analogy, we introduce a simple design for the diffusion process that generalizes previous discrete diffusion models. We further propose a simulation-free training framework based on radial symmetry and a simple technique to address the high dimensionality of the manifold. Comprehensive experiments on language modeling benchmarks and other modalities show that our method outperforms existing discrete diffusion models and approaches the performance of autoregressive models. Codes available at https://github.com/harryjo97/RDLM{https://github.com/harryjo97/RDLM}.