Consistentie Flow Matching: Het Definieren van Rechte Flows met Snelheid Consistentie

Consistency Flow Matching: Defining Straight Flows with Velocity Consistency

July 2, 2024

Auteurs: Ling Yang, Zixiang Zhang, Zhilong Zhang, Xingchao Liu, Minkai Xu, Wentao Zhang, Chenlin Meng, Stefano Ermon, Bin Cui

cs.AI

Samenvatting

Flow matching (FM) is een algemeen raamwerk voor het definiëren van waarschijnlijkheidspaden via Gewone Differentiaalvergelijkingen (ODE's) om transformaties tussen ruis- en datamonsters te realiseren. Recente benaderingen proberen deze stroomtrajecten te rechtlijnen om hoogwaardige monsters te genereren met minder functie-evaluaties, meestal via iteratieve rectificatiemethoden of optimale transportoplossingen. In dit artikel introduceren we Consistency Flow Matching (Consistency-FM), een nieuwe FM-methode die expliciet zelfconsistentie in het snelheidsveld afdwingt. Consistency-FM definieert rechtstreeks rechte stromen die vanaf verschillende tijdstippen naar hetzelfde eindpunt lopen, waarbij beperkingen worden opgelegd aan hun snelheidswaarden. Daarnaast stellen we een multi-segment trainingsaanpak voor Consistency-FM voor om de expressiviteit te vergroten, waardoor een betere balans tussen monstergeneratiekwaliteit en snelheid wordt bereikt. Voorlopige experimenten tonen aan dat onze Consistency-FM de trainingsefficiëntie aanzienlijk verbetert door 4,4x sneller te convergeren dan consistentiemodellen en 1,7x sneller dan gecorrigeerde stroommodellen, terwijl een betere generatiekwaliteit wordt bereikt. Onze code is beschikbaar op: https://github.com/YangLing0818/consistency_flow_matching

English

Flow matching (FM) is a general framework for defining probability paths via Ordinary Differential Equations (ODEs) to transform between noise and data samples. Recent approaches attempt to straighten these flow trajectories to generate high-quality samples with fewer function evaluations, typically through iterative rectification methods or optimal transport solutions. In this paper, we introduce Consistency Flow Matching (Consistency-FM), a novel FM method that explicitly enforces self-consistency in the velocity field. Consistency-FM directly defines straight flows starting from different times to the same endpoint, imposing constraints on their velocity values. Additionally, we propose a multi-segment training approach for Consistency-FM to enhance expressiveness, achieving a better trade-off between sampling quality and speed. Preliminary experiments demonstrate that our Consistency-FM significantly improves training efficiency by converging 4.4x faster than consistency models and 1.7x faster than rectified flow models while achieving better generation quality. Our code is available at: https://github.com/YangLing0818/consistency_flow_matching