Modelo de Difusão Contínua para Modelagem de Linguagem

Continuous Diffusion Model for Language Modeling

February 17, 2025

Autores: Jaehyeong Jo, Sung Ju Hwang

cs.AI

Resumo

Os modelos de difusão surgiram como uma alternativa promissora aos modelos autoregressivos na modelagem de dados categóricos discretos. No entanto, os modelos de difusão que operam diretamente no espaço de dados discretos não exploram plenamente o poder do refinamento iterativo, uma vez que os sinais são perdidos durante a transição entre estados discretos. Os modelos contínuos de difusão existentes para dados discretos têm desempenho limitado em comparação com abordagens discretas, e a ligação pouco clara entre eles restringe o desenvolvimento de modelos de difusão para dados discretos. Neste trabalho, propomos um modelo contínuo de difusão para modelagem de linguagem que incorpora a geometria da distribuição categórica subjacente. Estabelecemos uma conexão entre a difusão discreta e o fluxo contínuo na variedade estatística e, com base nessa analogia, introduzimos um design simples para o processo de difusão que generaliza os modelos anteriores de difusão discreta. Além disso, propomos uma estrutura de treinamento sem simulação baseada em simetria radial e uma técnica simples para lidar com a alta dimensionalidade da variedade. Experimentos abrangentes em benchmarks de modelagem de linguagem e outras modalidades mostram que nosso método supera os modelos de difusão discreta existentes e se aproxima do desempenho dos modelos autoregressivos. Códigos disponíveis em https://github.com/harryjo97/RDLM{https://github.com/harryjo97/RDLM}.

English

Diffusion models have emerged as a promising alternative to autoregressive models in modeling discrete categorical data. Yet diffusion models that directly work on discrete data space do not fully exploit the power of iterative refinement, as the signals are lost during the transition between discrete states. Existing continuous diffusion models for discrete data have limited performance compared to discrete approaches, and the unclear link between them restricts the development of diffusion models for discrete data. In this work, we propose a continuous diffusion model for language modeling that incorporates the geometry of the underlying categorical distribution. We establish a connection between the discrete diffusion and continuous flow on the statistical manifold, and building on the analogy, we introduce a simple design for the diffusion process that generalizes previous discrete diffusion models. We further propose a simulation-free training framework based on radial symmetry and a simple technique to address the high dimensionality of the manifold. Comprehensive experiments on language modeling benchmarks and other modalities show that our method outperforms existing discrete diffusion models and approaches the performance of autoregressive models. Codes available at https://github.com/harryjo97/RDLM{https://github.com/harryjo97/RDLM}.