Correspondência de Fluxo de Consistência: Definindo Fluxos Retos com Velocidade Consistência
Consistency Flow Matching: Defining Straight Flows with Velocity Consistency
July 2, 2024
Autores: Ling Yang, Zixiang Zhang, Zhilong Zhang, Xingchao Liu, Minkai Xu, Wentao Zhang, Chenlin Meng, Stefano Ermon, Bin Cui
cs.AI
Resumo
O Fluxo de Correspondência (FM) é um framework geral para definir caminhos de probabilidade via Equações Diferenciais Ordinárias (ODEs) para transformar entre ruído e amostras de dados. Abordagens recentes tentam endireitar essas trajetórias de fluxo para gerar amostras de alta qualidade com menos avaliações de função, tipicamente através de métodos de retificação iterativa ou soluções de transporte ótimo. Neste artigo, introduzimos o Fluxo de Correspondência de Consistência (Consistency-FM), um novo método FM que explicitamente impõe autoconsistência no campo de velocidade. O Consistency-FM define diretamente fluxos retos começando de diferentes tempos para o mesmo ponto final, impondo restrições em seus valores de velocidade. Além disso, propomos uma abordagem de treinamento de vários segmentos para o Consistency-FM para melhorar a expressividade, alcançando um melhor equilíbrio entre qualidade de amostragem e velocidade. Experimentos preliminares demonstram que nosso Consistency-FM melhora significativamente a eficiência de treinamento, convergindo 4,4 vezes mais rápido do que modelos de consistência e 1,7 vezes mais rápido do que modelos de fluxo retificado, enquanto alcança melhor qualidade de geração. Nosso código está disponível em: https://github.com/YangLing0818/consistency_flow_matching
English
Flow matching (FM) is a general framework for defining probability paths via
Ordinary Differential Equations (ODEs) to transform between noise and data
samples. Recent approaches attempt to straighten these flow trajectories to
generate high-quality samples with fewer function evaluations, typically
through iterative rectification methods or optimal transport solutions. In this
paper, we introduce Consistency Flow Matching (Consistency-FM), a novel FM
method that explicitly enforces self-consistency in the velocity field.
Consistency-FM directly defines straight flows starting from different times to
the same endpoint, imposing constraints on their velocity values. Additionally,
we propose a multi-segment training approach for Consistency-FM to enhance
expressiveness, achieving a better trade-off between sampling quality and
speed. Preliminary experiments demonstrate that our Consistency-FM
significantly improves training efficiency by converging 4.4x faster than
consistency models and 1.7x faster than rectified flow models while achieving
better generation quality. Our code is available at:
https://github.com/YangLing0818/consistency_flow_matching