Modèle de diffusion continue pour la modélisation du langage

Continuous Diffusion Model for Language Modeling

February 17, 2025

Auteurs: Jaehyeong Jo, Sung Ju Hwang

cs.AI

Résumé

Les modèles de diffusion sont apparus comme une alternative prometteuse aux modèles autorégressifs pour la modélisation de données catégorielles discrètes. Cependant, les modèles de diffusion opérant directement sur un espace de données discret n'exploitent pas pleinement la puissance du raffinement itératif, car les signaux sont perdus lors des transitions entre états discrets. Les modèles de diffusion continus existants pour les données discrètes offrent des performances limitées par rapport aux approches discrètes, et le lien flou entre eux freine le développement des modèles de diffusion pour les données discrètes. Dans ce travail, nous proposons un modèle de diffusion continu pour la modélisation du langage qui intègre la géométrie de la distribution catégorique sous-jacente. Nous établissons un lien entre la diffusion discrète et le flux continu sur la variété statistique, et en nous appuyant sur cette analogie, nous introduisons une conception simple du processus de diffusion qui généralise les modèles de diffusion discrets précédents. Nous proposons en outre un cadre d'entraînement sans simulation basé sur la symétrie radiale et une technique simple pour aborder la haute dimensionnalité de la variété. Des expériences approfondies sur des benchmarks de modélisation du langage et d'autres modalités montrent que notre méthode surpasse les modèles de diffusion discrets existants et s'approche des performances des modèles autorégressifs. Les codes sont disponibles à l'adresse https://github.com/harryjo97/RDLM{https://github.com/harryjo97/RDLM}.

English

Diffusion models have emerged as a promising alternative to autoregressive models in modeling discrete categorical data. Yet diffusion models that directly work on discrete data space do not fully exploit the power of iterative refinement, as the signals are lost during the transition between discrete states. Existing continuous diffusion models for discrete data have limited performance compared to discrete approaches, and the unclear link between them restricts the development of diffusion models for discrete data. In this work, we propose a continuous diffusion model for language modeling that incorporates the geometry of the underlying categorical distribution. We establish a connection between the discrete diffusion and continuous flow on the statistical manifold, and building on the analogy, we introduce a simple design for the diffusion process that generalizes previous discrete diffusion models. We further propose a simulation-free training framework based on radial symmetry and a simple technique to address the high dimensionality of the manifold. Comprehensive experiments on language modeling benchmarks and other modalities show that our method outperforms existing discrete diffusion models and approaches the performance of autoregressive models. Codes available at https://github.com/harryjo97/RDLM{https://github.com/harryjo97/RDLM}.