Correspondencia de Flujo Discreto

Discrete Flow Matching

July 22, 2024

Autores: Itai Gat, Tal Remez, Neta Shaul, Felix Kreuk, Ricky T. Q. Chen, Gabriel Synnaeve, Yossi Adi, Yaron Lipman

cs.AI

Resumen

A pesar de que los modelos de Coincidencia de Flujo y de difusión han surgido como paradigmas generativos potentes para variables continuas como imágenes y videos, su aplicación a datos discretos de alta dimensión, como el lenguaje, sigue siendo limitada. En este trabajo, presentamos Coincidencia de Flujo Discreto, un novedoso paradigma de flujo discreto diseñado específicamente para generar datos discretos. Coincidencia de Flujo Discreto ofrece varias contribuciones clave: (i) trabaja con una familia general de trayectorias de probabilidad que interpolan entre distribuciones fuente y objetivo; (ii) permite una fórmula genérica para muestrear de estas trayectorias de probabilidad utilizando posteriores aprendidos como el desenredador de probabilidad (predicción-x) y la predicción de ruido (predicción-epsilon); (iii) en la práctica, enfocarse en trayectorias de probabilidad específicas definidas con diferentes programadores mejora considerablemente la perplejidad generativa en comparación con modelos de difusión y flujo discretos anteriores; y (iv) al escalar los modelos de Coincidencia de Flujo Discreto hasta 1.7B parámetros, alcanzamos 6.7% Pass@1 y 13.4% Pass@10 en HumanEval y 6.7% Pass@1 y 20.6% Pass@10 en los puntos de referencia de codificación MBPP de 1 disparo. Nuestro enfoque es capaz de generar datos discretos de alta calidad de manera no autoregresiva, cerrando significativamente la brecha entre modelos autoregresivos y modelos de flujo discreto.

English

Despite Flow Matching and diffusion models having emerged as powerful generative paradigms for continuous variables such as images and videos, their application to high-dimensional discrete data, such as language, is still limited. In this work, we present Discrete Flow Matching, a novel discrete flow paradigm designed specifically for generating discrete data. Discrete Flow Matching offers several key contributions: (i) it works with a general family of probability paths interpolating between source and target distributions; (ii) it allows for a generic formula for sampling from these probability paths using learned posteriors such as the probability denoiser (x-prediction) and noise-prediction (epsilon-prediction); (iii) practically, focusing on specific probability paths defined with different schedulers considerably improves generative perplexity compared to previous discrete diffusion and flow models; and (iv) by scaling Discrete Flow Matching models up to 1.7B parameters, we reach 6.7% Pass@1 and 13.4% Pass@10 on HumanEval and 6.7% Pass@1 and 20.6% Pass@10 on 1-shot MBPP coding benchmarks. Our approach is capable of generating high-quality discrete data in a non-autoregressive fashion, significantly closing the gap between autoregressive models and discrete flow models.