Diskrete Flussanpassung

Discrete Flow Matching

July 22, 2024

Autoren: Itai Gat, Tal Remez, Neta Shaul, Felix Kreuk, Ricky T. Q. Chen, Gabriel Synnaeve, Yossi Adi, Yaron Lipman

cs.AI

Zusammenfassung

Obwohl Flow Matching und Diffusionsmodelle als leistungsstarke generative Paradigmen für kontinuierliche Variablen wie Bilder und Videos aufgetaucht sind, ist ihre Anwendung auf hochdimensionale diskrete Daten, wie Sprache, noch begrenzt. In dieser Arbeit präsentieren wir Discrete Flow Matching, ein neuartiges diskretes Flussparadigma, das speziell für die Generierung diskreter Daten entwickelt wurde. Discrete Flow Matching bietet mehrere wesentliche Beiträge: (i) Es arbeitet mit einer allgemeinen Familie von Wahrscheinlichkeitspfaden, die zwischen Quell- und Zielverteilungen interpolieren; (ii) es ermöglicht eine generische Formel zum Samplen von diesen Wahrscheinlichkeitspfaden unter Verwendung von erlernten Posteriors wie dem Wahrscheinlichkeitsdenoiser (x-Vorhersage) und dem Rausch-Vorhersage (Epsilon-Vorhersage); (iii) praktisch gesehen verbessert die Fokussierung auf spezifische Wahrscheinlichkeitspfade, die mit verschiedenen Zeitplänen definiert sind, die generative Perplexität erheblich im Vergleich zu früheren diskreten Diffusions- und Flussmodellen; und (iv) durch Skalierung von Discrete Flow Matching-Modellen auf bis zu 1,7 Milliarden Parameter erreichen wir 6,7% Pass@1 und 13,4% Pass@10 bei HumanEval sowie 6,7% Pass@1 und 20,6% Pass@10 bei 1-shot MBPP-Codierungstests. Unser Ansatz ist in der Lage, hochwertige diskrete Daten auf nicht-autoregressive Weise zu generieren und schließt signifikant die Lücke zwischen autoregressiven Modellen und diskreten Flussmodellen.

English

Despite Flow Matching and diffusion models having emerged as powerful generative paradigms for continuous variables such as images and videos, their application to high-dimensional discrete data, such as language, is still limited. In this work, we present Discrete Flow Matching, a novel discrete flow paradigm designed specifically for generating discrete data. Discrete Flow Matching offers several key contributions: (i) it works with a general family of probability paths interpolating between source and target distributions; (ii) it allows for a generic formula for sampling from these probability paths using learned posteriors such as the probability denoiser (x-prediction) and noise-prediction (epsilon-prediction); (iii) practically, focusing on specific probability paths defined with different schedulers considerably improves generative perplexity compared to previous discrete diffusion and flow models; and (iv) by scaling Discrete Flow Matching models up to 1.7B parameters, we reach 6.7% Pass@1 and 13.4% Pass@10 on HumanEval and 6.7% Pass@1 and 20.6% Pass@10 on 1-shot MBPP coding benchmarks. Our approach is capable of generating high-quality discrete data in a non-autoregressive fashion, significantly closing the gap between autoregressive models and discrete flow models.