Согласованное потоковое сопоставление: Определение прямых потоков с учетом скорости Согласованность

Consistency Flow Matching: Defining Straight Flows with Velocity Consistency

July 2, 2024

Авторы: Ling Yang, Zixiang Zhang, Zhilong Zhang, Xingchao Liu, Minkai Xu, Wentao Zhang, Chenlin Meng, Stefano Ermon, Bin Cui

cs.AI

Аннотация

Соответствие потоков (Flow matching, FM) - это общая структура для определения вероятностных траекторий через Обыкновенные Дифференциальные Уравнения (ODE), чтобы преобразовывать между шумом и образцами данных. Недавние подходы пытаются выпрямить эти потоковые траектории для генерации образцов высокого качества с меньшим количеством вычислений функций, обычно через итеративные методы прямоугольной коррекции или решения оптимального транспорта. В данной статье мы представляем Consistency Flow Matching (Consistency-FM), новый метод FM, который явно обеспечивает самосогласованность в поле скорости. Consistency-FM напрямую определяет прямые потоки, начиная с разных моментов времени к одной и той же конечной точке, налагая ограничения на значения их скоростей. Кроме того, мы предлагаем многосегментный подход к обучению для Consistency-FM для улучшения выразительности, достигая лучшего компромисса между качеством выборки и скоростью. Предварительные эксперименты показывают, что наш Consistency-FM значительно повышает эффективность обучения, сходясь в 4,4 раза быстрее, чем модели согласованности, и в 1,7 раза быстрее, чем прямоугольные модели потока, при этом достигая лучшего качества генерации. Наш код доступен по адресу: https://github.com/YangLing0818/consistency_flow_matching

English

Flow matching (FM) is a general framework for defining probability paths via Ordinary Differential Equations (ODEs) to transform between noise and data samples. Recent approaches attempt to straighten these flow trajectories to generate high-quality samples with fewer function evaluations, typically through iterative rectification methods or optimal transport solutions. In this paper, we introduce Consistency Flow Matching (Consistency-FM), a novel FM method that explicitly enforces self-consistency in the velocity field. Consistency-FM directly defines straight flows starting from different times to the same endpoint, imposing constraints on their velocity values. Additionally, we propose a multi-segment training approach for Consistency-FM to enhance expressiveness, achieving a better trade-off between sampling quality and speed. Preliminary experiments demonstrate that our Consistency-FM significantly improves training efficiency by converging 4.4x faster than consistency models and 1.7x faster than rectified flow models while achieving better generation quality. Our code is available at: https://github.com/YangLing0818/consistency_flow_matching