Modelo de Difusión Continua para Modelado del Lenguaje

Continuous Diffusion Model for Language Modeling

February 17, 2025

Autores: Jaehyeong Jo, Sung Ju Hwang

cs.AI

Resumen

Los modelos de difusión han surgido como una alternativa prometedora a los modelos autorregresivos en la modelización de datos categóricos discretos. Sin embargo, los modelos de difusión que operan directamente en el espacio de datos discretos no aprovechan plenamente el poder del refinamiento iterativo, ya que las señales se pierden durante la transición entre estados discretos. Los modelos de difusión continua existentes para datos discretos tienen un rendimiento limitado en comparación con los enfoques discretos, y la relación poco clara entre ellos restringe el desarrollo de modelos de difusión para datos discretos. En este trabajo, proponemos un modelo de difusión continua para el modelado del lenguaje que incorpora la geometría de la distribución categórica subyacente. Establecemos una conexión entre la difusión discreta y el flujo continuo en la variedad estadística, y basándonos en esta analogía, introducimos un diseño simple para el proceso de difusión que generaliza los modelos de difusión discreta anteriores. Además, proponemos un marco de entrenamiento sin simulación basado en la simetría radial y una técnica sencilla para abordar la alta dimensionalidad de la variedad. Experimentos exhaustivos en benchmarks de modelado del lenguaje y otras modalidades muestran que nuestro método supera a los modelos de difusión discreta existentes y se acerca al rendimiento de los modelos autorregresivos. El código está disponible en https://github.com/harryjo97/RDLM{https://github.com/harryjo97/RDLM}.

English

Diffusion models have emerged as a promising alternative to autoregressive models in modeling discrete categorical data. Yet diffusion models that directly work on discrete data space do not fully exploit the power of iterative refinement, as the signals are lost during the transition between discrete states. Existing continuous diffusion models for discrete data have limited performance compared to discrete approaches, and the unclear link between them restricts the development of diffusion models for discrete data. In this work, we propose a continuous diffusion model for language modeling that incorporates the geometry of the underlying categorical distribution. We establish a connection between the discrete diffusion and continuous flow on the statistical manifold, and building on the analogy, we introduce a simple design for the diffusion process that generalizes previous discrete diffusion models. We further propose a simulation-free training framework based on radial symmetry and a simple technique to address the high dimensionality of the manifold. Comprehensive experiments on language modeling benchmarks and other modalities show that our method outperforms existing discrete diffusion models and approaches the performance of autoregressive models. Codes available at https://github.com/harryjo97/RDLM{https://github.com/harryjo97/RDLM}.