Flux Discret Correspondant

Discrete Flow Matching

July 22, 2024

Auteurs: Itai Gat, Tal Remez, Neta Shaul, Felix Kreuk, Ricky T. Q. Chen, Gabriel Synnaeve, Yossi Adi, Yaron Lipman

cs.AI

Résumé

Bien que le Flow Matching et les modèles de diffusion soient apparus comme des paradigmes génératifs puissants pour les variables continues telles que les images et les vidéos, leur application aux données discrètes de haute dimension, comme le langage, reste limitée. Dans ce travail, nous présentons le Discrete Flow Matching, un nouveau paradigme de flux discret conçu spécifiquement pour générer des données discrètes. Le Discrete Flow Matching apporte plusieurs contributions clés : (i) il fonctionne avec une famille générale de chemins de probabilité interpolant entre les distributions source et cible ; (ii) il permet une formule générique pour l'échantillonnage à partir de ces chemins de probabilité en utilisant des postérieurs appris tels que le débruiteur de probabilité (prédiction x) et la prédiction de bruit (prédiction epsilon) ; (iii) en pratique, se concentrer sur des chemins de probabilité spécifiques définis avec différents planificateurs améliore considérablement la perplexité générative par rapport aux modèles de diffusion et de flux discrets précédents ; et (iv) en augmentant la taille des modèles de Discrete Flow Matching jusqu'à 1,7 milliard de paramètres, nous atteignons 6,7 % de Pass@1 et 13,4 % de Pass@10 sur HumanEval, ainsi que 6,7 % de Pass@1 et 20,6 % de Pass@10 sur les benchmarks de codage MBPP en 1-shot. Notre approche est capable de générer des données discrètes de haute qualité de manière non autorégressive, réduisant significativement l'écart entre les modèles autorégressifs et les modèles de flux discrets.

English

Despite Flow Matching and diffusion models having emerged as powerful generative paradigms for continuous variables such as images and videos, their application to high-dimensional discrete data, such as language, is still limited. In this work, we present Discrete Flow Matching, a novel discrete flow paradigm designed specifically for generating discrete data. Discrete Flow Matching offers several key contributions: (i) it works with a general family of probability paths interpolating between source and target distributions; (ii) it allows for a generic formula for sampling from these probability paths using learned posteriors such as the probability denoiser (x-prediction) and noise-prediction (epsilon-prediction); (iii) practically, focusing on specific probability paths defined with different schedulers considerably improves generative perplexity compared to previous discrete diffusion and flow models; and (iv) by scaling Discrete Flow Matching models up to 1.7B parameters, we reach 6.7% Pass@1 and 13.4% Pass@10 on HumanEval and 6.7% Pass@1 and 20.6% Pass@10 on 1-shot MBPP coding benchmarks. Our approach is capable of generating high-quality discrete data in a non-autoregressive fashion, significantly closing the gap between autoregressive models and discrete flow models.