Konsistenzflussanpassung: Definieren von geradlinigen Flüssen mit Geschwindigkeit Konsistenz

Consistency Flow Matching: Defining Straight Flows with Velocity Consistency

July 2, 2024

Autoren: Ling Yang, Zixiang Zhang, Zhilong Zhang, Xingchao Liu, Minkai Xu, Wentao Zhang, Chenlin Meng, Stefano Ermon, Bin Cui

cs.AI

Zusammenfassung

Das Flussanpassen (Flow Matching, FM) ist ein allgemeines Rahmenkonzept zur Definition von Wahrscheinlichkeitspfaden über gewöhnliche Differentialgleichungen (ODEs), um zwischen Rauschen und Datensamples zu transformieren. Aktuelle Ansätze versuchen, diese Flussbahnen zu glätten, um hochwertige Samples mit weniger Funktionsauswertungen zu erzeugen, typischerweise durch iterative Rektifikationsmethoden oder optimale Transportlösungen. In diesem Paper stellen wir Consistency Flow Matching (Consistency-FM) vor, eine neue FM-Methode, die die Selbstkonsistenz im Geschwindigkeitsfeld explizit durchsetzt. Consistency-FM definiert direkt gerade Flüsse, die von verschiedenen Zeitpunkten zum selben Endpunkt starten, und legt Einschränkungen für ihre Geschwindigkeitswerte fest. Darüber hinaus schlagen wir einen mehrsegmentigen Schulungsansatz für Consistency-FM vor, um die Ausdrucksfähigkeit zu verbessern und einen besseren Kompromiss zwischen Sampling-Qualität und Geschwindigkeit zu erreichen. Vorläufige Experimente zeigen, dass unser Consistency-FM die Trainingseffizienz signifikant verbessert, indem es 4,4-mal schneller konvergiert als Konsistenzmodelle und 1,7-mal schneller als rektifizierte Flussmodelle, während es eine bessere Generierungsqualität erreicht. Unser Code ist verfügbar unter: https://github.com/YangLing0818/consistency_flow_matching

English

Flow matching (FM) is a general framework for defining probability paths via Ordinary Differential Equations (ODEs) to transform between noise and data samples. Recent approaches attempt to straighten these flow trajectories to generate high-quality samples with fewer function evaluations, typically through iterative rectification methods or optimal transport solutions. In this paper, we introduce Consistency Flow Matching (Consistency-FM), a novel FM method that explicitly enforces self-consistency in the velocity field. Consistency-FM directly defines straight flows starting from different times to the same endpoint, imposing constraints on their velocity values. Additionally, we propose a multi-segment training approach for Consistency-FM to enhance expressiveness, achieving a better trade-off between sampling quality and speed. Preliminary experiments demonstrate that our Consistency-FM significantly improves training efficiency by converging 4.4x faster than consistency models and 1.7x faster than rectified flow models while achieving better generation quality. Our code is available at: https://github.com/YangLing0818/consistency_flow_matching