一貫性フローマッチング：速度を用いた直線フローの定義 一貫性

Consistency Flow Matching: Defining Straight Flows with Velocity Consistency

July 2, 2024

著者: Ling Yang, Zixiang Zhang, Zhilong Zhang, Xingchao Liu, Minkai Xu, Wentao Zhang, Chenlin Meng, Stefano Ermon, Bin Cui

cs.AI

要旨

フローマッチング（FM）は、ノイズとデータサンプル間の変換を実現するために、常微分方程式（ODE）を用いて確率経路を定義する一般的なフレームワークです。最近のアプローチでは、高品質なサンプルを少ない関数評価回数で生成するために、これらのフロー軌道を直線化しようと試みており、通常は反復的な補正手法や最適輸送ソリューションを介して行われます。本論文では、速度場における自己一貫性を明示的に強制する新しいFM手法であるConsistency Flow Matching（Consistency-FM）を紹介します。Consistency-FMは、異なる時刻から同じ終点に向かう直線的なフローを直接定義し、それらの速度値に制約を課します。さらに、Consistency-FMの表現力を向上させるために、マルチセグメントトレーニングアプローチを提案し、サンプリング品質と速度の間のより良いトレードオフを実現します。予備実験では、Consistency-FMが一貫性モデルよりも4.4倍、補正フローモデルよりも1.7倍速く収束し、生成品質も向上させることで、トレーニング効率を大幅に改善することが示されています。私たちのコードは以下で公開されています： https://github.com/YangLing0818/consistency_flow_matching

English

Flow matching (FM) is a general framework for defining probability paths via Ordinary Differential Equations (ODEs) to transform between noise and data samples. Recent approaches attempt to straighten these flow trajectories to generate high-quality samples with fewer function evaluations, typically through iterative rectification methods or optimal transport solutions. In this paper, we introduce Consistency Flow Matching (Consistency-FM), a novel FM method that explicitly enforces self-consistency in the velocity field. Consistency-FM directly defines straight flows starting from different times to the same endpoint, imposing constraints on their velocity values. Additionally, we propose a multi-segment training approach for Consistency-FM to enhance expressiveness, achieving a better trade-off between sampling quality and speed. Preliminary experiments demonstrate that our Consistency-FM significantly improves training efficiency by converging 4.4x faster than consistency models and 1.7x faster than rectified flow models while achieving better generation quality. Our code is available at: https://github.com/YangLing0818/consistency_flow_matching