Fluxo de Aceleração Constante

Constant Acceleration Flow

November 1, 2024

Autores: Dogyun Park, Sojin Lee, Sihyeon Kim, Taehoon Lee, Youngjoon Hong, Hyunwoo J. Kim

cs.AI

Resumo

Os procedimentos de fluxo retificado e refluência avançaram significativamente a geração rápida, endireitando progressivamente os fluxos de equações diferenciais ordinárias (ODE). Eles operam sob a suposição de que pares de imagem e ruído, conhecidos como acoplamentos, podem ser aproximados por trajetórias retas com velocidade constante. No entanto, observamos que modelar com velocidade constante e utilizar procedimentos de refluência têm limitações na aprendizagem precisa de trajetórias retas entre pares, resultando em desempenho subótimo na geração de poucas etapas. Para abordar essas limitações, introduzimos o Fluxo de Aceleração Constante (CAF), um novo framework baseado em uma simples equação de aceleração constante. O CAF introduz a aceleração como uma variável adicional aprendível, permitindo uma estimativa mais expressiva e precisa do fluxo de ODE. Além disso, propomos duas técnicas para melhorar ainda mais a precisão da estimativa: condicionamento da velocidade inicial para o modelo de aceleração e um processo de refluência para a velocidade inicial. Nossos estudos abrangentes em conjuntos de dados de brinquedo, CIFAR-10 e ImageNet 64x64 demonstram que o CAF supera as bases de referência de última geração para a geração de uma etapa. Também mostramos que o CAF melhora drasticamente a preservação de acoplamentos de poucas etapas e a inversão em relação ao fluxo retificado. O código está disponível em https://github.com/mlvlab/CAF{https://github.com/mlvlab/CAF}.

English

Rectified flow and reflow procedures have significantly advanced fast generation by progressively straightening ordinary differential equation (ODE) flows. They operate under the assumption that image and noise pairs, known as couplings, can be approximated by straight trajectories with constant velocity. However, we observe that modeling with constant velocity and using reflow procedures have limitations in accurately learning straight trajectories between pairs, resulting in suboptimal performance in few-step generation. To address these limitations, we introduce Constant Acceleration Flow (CAF), a novel framework based on a simple constant acceleration equation. CAF introduces acceleration as an additional learnable variable, allowing for more expressive and accurate estimation of the ODE flow. Moreover, we propose two techniques to further improve estimation accuracy: initial velocity conditioning for the acceleration model and a reflow process for the initial velocity. Our comprehensive studies on toy datasets, CIFAR-10, and ImageNet 64x64 demonstrate that CAF outperforms state-of-the-art baselines for one-step generation. We also show that CAF dramatically improves few-step coupling preservation and inversion over Rectified flow. Code is available at https://github.com/mlvlab/CAF{https://github.com/mlvlab/CAF}.