Consistency Flow Matching: Definizione di Flussi Diretti con Velocità Consistency
Consistency Flow Matching: Defining Straight Flows with Velocity Consistency
July 2, 2024
Autori: Ling Yang, Zixiang Zhang, Zhilong Zhang, Xingchao Liu, Minkai Xu, Wentao Zhang, Chenlin Meng, Stefano Ermon, Bin Cui
cs.AI
Abstract
Il Flow Matching (FM) è un framework generale per definire percorsi probabilistici attraverso Equazioni Differenziali Ordinarie (ODE) per trasformare campioni di rumore in dati. Recenti approcci cercano di raddrizzare queste traiettorie di flusso per generare campioni di alta qualità con un minor numero di valutazioni di funzioni, tipicamente attraverso metodi di rettifica iterativa o soluzioni di trasporto ottimale. In questo articolo, introduciamo il Consistency Flow Matching (Consistency-FM), un nuovo metodo FM che impone esplicitamente l'autoconsistenza nel campo di velocità. Il Consistency-FM definisce direttamente flussi rettilinei che partono da tempi diversi verso lo stesso punto finale, imponendo vincoli sui loro valori di velocità. Inoltre, proponiamo un approccio di addestramento multi-segmento per il Consistency-FM per migliorare l'espressività, ottenendo un migliore compromesso tra qualità di campionamento e velocità. Esperimenti preliminari dimostrano che il nostro Consistency-FM migliora significativamente l'efficienza dell'addestramento, convergendo 4,4 volte più velocemente rispetto ai modelli di consistenza e 1,7 volte più velocemente rispetto ai modelli di flusso rettificato, raggiungendo al contempo una migliore qualità di generazione. Il nostro codice è disponibile all'indirizzo: https://github.com/YangLing0818/consistency_flow_matching
English
Flow matching (FM) is a general framework for defining probability paths via
Ordinary Differential Equations (ODEs) to transform between noise and data
samples. Recent approaches attempt to straighten these flow trajectories to
generate high-quality samples with fewer function evaluations, typically
through iterative rectification methods or optimal transport solutions. In this
paper, we introduce Consistency Flow Matching (Consistency-FM), a novel FM
method that explicitly enforces self-consistency in the velocity field.
Consistency-FM directly defines straight flows starting from different times to
the same endpoint, imposing constraints on their velocity values. Additionally,
we propose a multi-segment training approach for Consistency-FM to enhance
expressiveness, achieving a better trade-off between sampling quality and
speed. Preliminary experiments demonstrate that our Consistency-FM
significantly improves training efficiency by converging 4.4x faster than
consistency models and 1.7x faster than rectified flow models while achieving
better generation quality. Our code is available at:
https://github.com/YangLing0818/consistency_flow_matching