FireFlow : Inversion rapide du flux redressé pour l'édition sémantique d'images

FireFlow: Fast Inversion of Rectified Flow for Image Semantic Editing

December 10, 2024

Auteurs: Yingying Deng, Xiangyu He, Changwang Mei, Peisong Wang, Fan Tang

cs.AI

Résumé

Bien que les Flux Rectifiés (ReFlows) avec distillation offrent une méthode prometteuse pour un échantillonnage rapide, leur inversion rapide transforme les images en bruit structuré lors de la récupération, et l'édition qui suit reste non résolue. Cet article présente FireFlow, une approche simple mais efficace en zéro-shot qui hérite de la capacité étonnante des modèles basés sur ReFlow (comme FLUX) en génération tout en étendant ses capacités à l'inversion et à l'édition précises en 8 étapes. Nous démontrons d'abord qu'un solveur numérique soigneusement conçu est essentiel pour l'inversion ReFlow, permettant une inversion et une reconstruction précises avec la précision d'un solveur du second ordre tout en maintenant l'efficacité pratique d'une méthode d'Euler du premier ordre. Ce solveur permet un gain de vitesse de calcul 3 fois plus rapide par rapport aux techniques d'inversion et d'édition ReFlow de pointe, tout en offrant de plus petites erreurs de reconstruction et des résultats d'édition supérieurs en mode sans entraînement. Le code est disponible sur https://github.com/HolmesShuan/FireFlow{cette URL}.

English

Though Rectified Flows (ReFlows) with distillation offers a promising way for fast sampling, its fast inversion transforms images back to structured noise for recovery and following editing remains unsolved. This paper introduces FireFlow, a simple yet effective zero-shot approach that inherits the startling capacity of ReFlow-based models (such as FLUX) in generation while extending its capabilities to accurate inversion and editing in 8 steps. We first demonstrate that a carefully designed numerical solver is pivotal for ReFlow inversion, enabling accurate inversion and reconstruction with the precision of a second-order solver while maintaining the practical efficiency of a first-order Euler method. This solver achieves a 3times runtime speedup compared to state-of-the-art ReFlow inversion and editing techniques, while delivering smaller reconstruction errors and superior editing results in a training-free mode. The code is available at https://github.com/HolmesShuan/FireFlow{this URL}.