Сопоставление дискретного потока

Discrete Flow Matching

July 22, 2024

Авторы: Itai Gat, Tal Remez, Neta Shaul, Felix Kreuk, Ricky T. Q. Chen, Gabriel Synnaeve, Yossi Adi, Yaron Lipman

cs.AI

Аннотация

Несмотря на то, что модели сопоставления потоков и модели диффузии стали мощными генеративными парадигмами для непрерывных переменных, таких как изображения и видео, их применение к высокоразмерным дискретным данным, таким как язык, все еще ограничено. В данной работе мы представляем Дискретное Сопоставление Потоков, новую дискретную генеративную парадигму, специально разработанную для создания дискретных данных. Дискретное Сопоставление Потоков вносит несколько ключевых вкладов: (i) оно работает с общим семейством вероятностных путей, интерполирующих между исходными и целевыми распределениями; (ii) оно позволяет использовать общую формулу для выборки из этих вероятностных путей с использованием изученных апостериорных распределений, таких как вероятностный денойзер (предсказание x) и предсказание шума (предсказание эпсилон); (iii) практически, сосредотачиваясь на конкретных вероятностных путях, определенных с различными планировщиками, значительно улучшается генеративная перплексия по сравнению с предыдущими дискретными моделями диффузии и потока; и (iv) масштабируя модели Дискретного Сопоставления Потоков до 1.7 миллиарда параметров, мы достигаем 6.7% Pass@1 и 13.4% Pass@10 на HumanEval и 6.7% Pass@1 и 20.6% Pass@10 на бенчмарках кодирования 1-shot MBPP. Наш подход способен генерировать дискретные данные высокого качества в неавторегрессионном стиле, значительно сокращая разрыв между авторегрессионными моделями и моделями дискретного потока.

English

Despite Flow Matching and diffusion models having emerged as powerful generative paradigms for continuous variables such as images and videos, their application to high-dimensional discrete data, such as language, is still limited. In this work, we present Discrete Flow Matching, a novel discrete flow paradigm designed specifically for generating discrete data. Discrete Flow Matching offers several key contributions: (i) it works with a general family of probability paths interpolating between source and target distributions; (ii) it allows for a generic formula for sampling from these probability paths using learned posteriors such as the probability denoiser (x-prediction) and noise-prediction (epsilon-prediction); (iii) practically, focusing on specific probability paths defined with different schedulers considerably improves generative perplexity compared to previous discrete diffusion and flow models; and (iv) by scaling Discrete Flow Matching models up to 1.7B parameters, we reach 6.7% Pass@1 and 13.4% Pass@10 on HumanEval and 6.7% Pass@1 and 20.6% Pass@10 on 1-shot MBPP coding benchmarks. Our approach is capable of generating high-quality discrete data in a non-autoregressive fashion, significantly closing the gap between autoregressive models and discrete flow models.