Flujo de Aceleración Constante

Constant Acceleration Flow

November 1, 2024

Autores: Dogyun Park, Sojin Lee, Sihyeon Kim, Taehoon Lee, Youngjoon Hong, Hyunwoo J. Kim

cs.AI

Resumen

Los procedimientos de flujo rectificado y reflujo han avanzado significativamente en la generación rápida al enderezar progresivamente los flujos de ecuaciones diferenciales ordinarias (ODE). Operan bajo la suposición de que los pares de imagen y ruido, conocidos como acoplamientos, pueden aproximarse mediante trayectorias rectas con velocidad constante. Sin embargo, observamos que modelar con velocidad constante y utilizar procedimientos de reflujo tienen limitaciones para aprender con precisión trayectorias rectas entre pares, lo que resulta en un rendimiento subóptimo en la generación de pocos pasos. Para abordar estas limitaciones, presentamos el Flujo de Aceleración Constante (CAF), un marco novedoso basado en una simple ecuación de aceleración constante. CAF introduce la aceleración como una variable adicional aprendible, lo que permite una estimación más expresiva y precisa del flujo de ODE. Además, proponemos dos técnicas para mejorar aún más la precisión de la estimación: condicionamiento de la velocidad inicial para el modelo de aceleración y un proceso de reflujo para la velocidad inicial. Nuestros estudios exhaustivos en conjuntos de datos de juguete, CIFAR-10 y ImageNet 64x64 demuestran que CAF supera a las líneas de base de vanguardia para la generación de un paso. También mostramos que CAF mejora drásticamente la preservación de acoplamientos y la inversión de pocos pasos sobre el flujo rectificado. El código está disponible en https://github.com/mlvlab/CAF.

English

Rectified flow and reflow procedures have significantly advanced fast generation by progressively straightening ordinary differential equation (ODE) flows. They operate under the assumption that image and noise pairs, known as couplings, can be approximated by straight trajectories with constant velocity. However, we observe that modeling with constant velocity and using reflow procedures have limitations in accurately learning straight trajectories between pairs, resulting in suboptimal performance in few-step generation. To address these limitations, we introduce Constant Acceleration Flow (CAF), a novel framework based on a simple constant acceleration equation. CAF introduces acceleration as an additional learnable variable, allowing for more expressive and accurate estimation of the ODE flow. Moreover, we propose two techniques to further improve estimation accuracy: initial velocity conditioning for the acceleration model and a reflow process for the initial velocity. Our comprehensive studies on toy datasets, CIFAR-10, and ImageNet 64x64 demonstrate that CAF outperforms state-of-the-art baselines for one-step generation. We also show that CAF dramatically improves few-step coupling preservation and inversion over Rectified flow. Code is available at https://github.com/mlvlab/CAF{https://github.com/mlvlab/CAF}.