Flux de Correspondance de Cohérence : Définir des Flux Droits avec la Vitesse Cohérence

Consistency Flow Matching: Defining Straight Flows with Velocity Consistency

July 2, 2024

Auteurs: Ling Yang, Zixiang Zhang, Zhilong Zhang, Xingchao Liu, Minkai Xu, Wentao Zhang, Chenlin Meng, Stefano Ermon, Bin Cui

cs.AI

Résumé

Le Flow Matching (FM) est un cadre général pour définir des trajectoires de probabilité via des Équations Différentielles Ordinaires (EDO) afin de transformer des échantillons de bruit en données. Les approches récentes cherchent à rectifier ces trajectoires de flux pour générer des échantillons de haute qualité avec moins d'évaluations de fonctions, généralement à travers des méthodes de rectification itératives ou des solutions de transport optimal. Dans cet article, nous introduisons le Consistency Flow Matching (Consistency-FM), une nouvelle méthode de FM qui impose explicitement l'auto-cohérence dans le champ de vitesse. Le Consistency-FM définit directement des flux rectilignes partant de différents instants vers le même point final, en imposant des contraintes sur leurs valeurs de vitesse. De plus, nous proposons une approche d'entraînement multi-segments pour le Consistency-FM afin d'améliorer l'expressivité, atteignant un meilleur compromis entre la qualité d'échantillonnage et la vitesse. Les expériences préliminaires démontrent que notre Consistency-FM améliore significativement l'efficacité de l'entraînement en convergeant 4,4 fois plus vite que les modèles de cohérence et 1,7 fois plus vite que les modèles de flux rectifiés, tout en obtenant une meilleure qualité de génération. Notre code est disponible à l'adresse suivante : https://github.com/YangLing0818/consistency_flow_matching.

English

Flow matching (FM) is a general framework for defining probability paths via Ordinary Differential Equations (ODEs) to transform between noise and data samples. Recent approaches attempt to straighten these flow trajectories to generate high-quality samples with fewer function evaluations, typically through iterative rectification methods or optimal transport solutions. In this paper, we introduce Consistency Flow Matching (Consistency-FM), a novel FM method that explicitly enforces self-consistency in the velocity field. Consistency-FM directly defines straight flows starting from different times to the same endpoint, imposing constraints on their velocity values. Additionally, we propose a multi-segment training approach for Consistency-FM to enhance expressiveness, achieving a better trade-off between sampling quality and speed. Preliminary experiments demonstrate that our Consistency-FM significantly improves training efficiency by converging 4.4x faster than consistency models and 1.7x faster than rectified flow models while achieving better generation quality. Our code is available at: https://github.com/YangLing0818/consistency_flow_matching