Kontinuierliches Diffusionsmodell für Sprachmodellierung

Continuous Diffusion Model for Language Modeling

February 17, 2025

Autoren: Jaehyeong Jo, Sung Ju Hwang

cs.AI

Zusammenfassung

Diffusionsmodelle haben sich als vielversprechende Alternative zu autoregressiven Modellen bei der Modellierung diskreter kategorialer Daten herausgestellt. Allerdings nutzen Diffusionsmodelle, die direkt auf diskreten Datenräumen arbeiten, die Kraft der iterativen Verfeinerung nicht vollständig aus, da die Signale während des Übergangs zwischen diskreten Zuständen verloren gehen. Bestehende kontinuierliche Diffusionsmodelle für diskrete Daten weisen im Vergleich zu diskreten Ansätzen eine begrenzte Leistung auf, und der unklare Zusammenhang zwischen ihnen behindert die Entwicklung von Diffusionsmodellen für diskrete Daten. In dieser Arbeit schlagen wir ein kontinuierliches Diffusionsmodell für die Sprachmodellierung vor, das die Geometrie der zugrunde liegenden kategorialen Verteilung einbezieht. Wir stellen eine Verbindung zwischen der diskreten Diffusion und dem kontinuierlichen Fluss auf der statistischen Mannigfaltigkeit her und führen, basierend auf dieser Analogie, ein einfaches Design für den Diffusionsprozess ein, das frühere diskrete Diffusionsmodelle verallgemeinert. Darüber hinaus schlagen wir ein simulationsfreies Trainingsframework basierend auf radialer Symmetrie und eine einfache Technik zur Bewältigung der hohen Dimensionalität der Mannigfaltigkeit vor. Umfassende Experimente auf Sprachmodellierungs-Benchmarks und anderen Modalitäten zeigen, dass unsere Methode bestehende diskrete Diffusionsmodelle übertrifft und sich der Leistung autoregressiver Modelle annähert. Der Code ist verfügbar unter https://github.com/harryjo97/RDLM{https://github.com/harryjo97/RDLM}.

English

Diffusion models have emerged as a promising alternative to autoregressive models in modeling discrete categorical data. Yet diffusion models that directly work on discrete data space do not fully exploit the power of iterative refinement, as the signals are lost during the transition between discrete states. Existing continuous diffusion models for discrete data have limited performance compared to discrete approaches, and the unclear link between them restricts the development of diffusion models for discrete data. In this work, we propose a continuous diffusion model for language modeling that incorporates the geometry of the underlying categorical distribution. We establish a connection between the discrete diffusion and continuous flow on the statistical manifold, and building on the analogy, we introduce a simple design for the diffusion process that generalizes previous discrete diffusion models. We further propose a simulation-free training framework based on radial symmetry and a simple technique to address the high dimensionality of the manifold. Comprehensive experiments on language modeling benchmarks and other modalities show that our method outperforms existing discrete diffusion models and approaches the performance of autoregressive models. Codes available at https://github.com/harryjo97/RDLM{https://github.com/harryjo97/RDLM}.