일관성 흐름 매칭: 속도를 이용한 직선 흐름 정의 일관성

Consistency Flow Matching: Defining Straight Flows with Velocity Consistency

July 2, 2024

저자: Ling Yang, Zixiang Zhang, Zhilong Zhang, Xingchao Liu, Minkai Xu, Wentao Zhang, Chenlin Meng, Stefano Ermon, Bin Cui

cs.AI

초록

플로우 매칭(FM)은 노이즈와 데이터 샘플 간의 변환을 위해 상미분방정식(ODEs)을 통해 확률 경로를 정의하는 일반적인 프레임워크입니다. 최근 연구들은 이러한 플로우 궤적을 직선화하여 더 적은 함수 평가로 고품질 샘플을 생성하려는 시도를 하고 있으며, 주로 반복적 수정 방법이나 최적 수송 솔루션을 통해 이를 달성하고 있습니다. 본 논문에서는 속도 필드에서 자기 일관성을 명시적으로 강제하는 새로운 FM 방법인 일관성 플로우 매칭(Consistency-FM)을 소개합니다. Consistency-FM은 서로 다른 시간에서 시작하여 동일한 종점으로 향하는 직선 플로우를 직접 정의하며, 이들의 속도 값에 제약을 가합니다. 또한, 샘플링 품질과 속도 간의 더 나은 균형을 달성하기 위해 Consistency-FM을 위한 다중 세그먼트 학습 접근 방식을 제안합니다. 예비 실험 결과, 우리의 Consistency-FM은 일관성 모델보다 4.4배 빠르고, 수정된 플로우 모델보다 1.7배 빠르게 수렴하면서 더 나은 생성 품질을 달성함으로써 학습 효율성을 크게 향상시킴을 보여줍니다. 우리의 코드는 https://github.com/YangLing0818/consistency_flow_matching에서 확인할 수 있습니다.

English

Flow matching (FM) is a general framework for defining probability paths via Ordinary Differential Equations (ODEs) to transform between noise and data samples. Recent approaches attempt to straighten these flow trajectories to generate high-quality samples with fewer function evaluations, typically through iterative rectification methods or optimal transport solutions. In this paper, we introduce Consistency Flow Matching (Consistency-FM), a novel FM method that explicitly enforces self-consistency in the velocity field. Consistency-FM directly defines straight flows starting from different times to the same endpoint, imposing constraints on their velocity values. Additionally, we propose a multi-segment training approach for Consistency-FM to enhance expressiveness, achieving a better trade-off between sampling quality and speed. Preliminary experiments demonstrate that our Consistency-FM significantly improves training efficiency by converging 4.4x faster than consistency models and 1.7x faster than rectified flow models while achieving better generation quality. Our code is available at: https://github.com/YangLing0818/consistency_flow_matching