Coincidencia de Flujo Consistente: Definiendo Flujos Rectos con Velocidad Consistencia

Consistency Flow Matching: Defining Straight Flows with Velocity Consistency

July 2, 2024

Autores: Ling Yang, Zixiang Zhang, Zhilong Zhang, Xingchao Liu, Minkai Xu, Wentao Zhang, Chenlin Meng, Stefano Ermon, Bin Cui

cs.AI

Resumen

El emparejamiento de flujos (FM) es un marco general para definir trayectorias de probabilidad a través de Ecuaciones Diferenciales Ordinarias (ODEs) para transformar entre ruido y muestras de datos. Enfoques recientes intentan enderezar estas trayectorias de flujo para generar muestras de alta calidad con menos evaluaciones de funciones, típicamente a través de métodos de rectificación iterativos o soluciones de transporte óptimo. En este artículo, presentamos el Emparejamiento de Flujos Consistente (Consistency-FM), un método de FM novedoso que hace cumplir explícitamente la autoconsistencia en el campo de velocidad. Consistency-FM define directamente flujos rectos que comienzan en diferentes momentos hacia el mismo punto final, imponiendo restricciones en los valores de velocidad. Además, proponemos un enfoque de entrenamiento de múltiples segmentos para Consistency-FM para mejorar la expresividad, logrando un mejor equilibrio entre la calidad de muestreo y la velocidad. Experimentos preliminares demuestran que nuestro Consistency-FM mejora significativamente la eficiencia de entrenamiento al converger 4.4 veces más rápido que los modelos de consistencia y 1.7 veces más rápido que los modelos de flujo rectificado, al tiempo que logra una mejor calidad de generación. Nuestro código está disponible en: https://github.com/YangLing0818/consistency_flow_matching

English

Flow matching (FM) is a general framework for defining probability paths via Ordinary Differential Equations (ODEs) to transform between noise and data samples. Recent approaches attempt to straighten these flow trajectories to generate high-quality samples with fewer function evaluations, typically through iterative rectification methods or optimal transport solutions. In this paper, we introduce Consistency Flow Matching (Consistency-FM), a novel FM method that explicitly enforces self-consistency in the velocity field. Consistency-FM directly defines straight flows starting from different times to the same endpoint, imposing constraints on their velocity values. Additionally, we propose a multi-segment training approach for Consistency-FM to enhance expressiveness, achieving a better trade-off between sampling quality and speed. Preliminary experiments demonstrate that our Consistency-FM significantly improves training efficiency by converging 4.4x faster than consistency models and 1.7x faster than rectified flow models while achieving better generation quality. Our code is available at: https://github.com/YangLing0818/consistency_flow_matching