FireFlow: Schnelle Umkehrung des gerichteten Flusses zur semantischen Bearbeitung von Bildern

FireFlow: Fast Inversion of Rectified Flow for Image Semantic Editing

December 10, 2024

Autoren: Yingying Deng, Xiangyu He, Changwang Mei, Peisong Wang, Fan Tang

cs.AI

Zusammenfassung

Obwohl Rectified Flows (ReFlows) mit Destillation einen vielversprechenden Weg für schnelles Sampling bieten, verwandelt ihre schnelle Inversion Bilder zurück in strukturiertes Rauschen für die Wiederherstellung, und die anschließende Bearbeitung bleibt ungelöst. Dieser Artikel stellt FireFlow vor, einen einfachen, aber effektiven Zero-Shot-Ansatz, der die beeindruckende Kapazität von ReFlow-basierten Modellen (wie FLUX) bei der Generierung erbt und gleichzeitig seine Fähigkeiten auf genaue Inversion und Bearbeitung in 8 Schritten erweitert. Wir zeigen zunächst, dass ein sorgfältig entworfener numerischer Solver für die ReFlow-Inversion entscheidend ist, um eine genaue Inversion und Rekonstruktion mit der Präzision eines Löser zweiter Ordnung zu ermöglichen, während die praktische Effizienz eines Löser erster Ordnung beibehalten wird. Dieser Solver erzielt eine 3-fache Laufzeitbeschleunigung im Vergleich zu modernsten ReFlow-Inversions- und Bearbeitungstechniken und liefert dabei kleinere Rekonstruktionsfehler und überlegene Bearbeitungsergebnisse im trainingsfreien Modus. Der Code ist verfügbar unter https://github.com/HolmesShuan/FireFlow{diese URL}.

English

Though Rectified Flows (ReFlows) with distillation offers a promising way for fast sampling, its fast inversion transforms images back to structured noise for recovery and following editing remains unsolved. This paper introduces FireFlow, a simple yet effective zero-shot approach that inherits the startling capacity of ReFlow-based models (such as FLUX) in generation while extending its capabilities to accurate inversion and editing in 8 steps. We first demonstrate that a carefully designed numerical solver is pivotal for ReFlow inversion, enabling accurate inversion and reconstruction with the precision of a second-order solver while maintaining the practical efficiency of a first-order Euler method. This solver achieves a 3times runtime speedup compared to state-of-the-art ReFlow inversion and editing techniques, while delivering smaller reconstruction errors and superior editing results in a training-free mode. The code is available at https://github.com/HolmesShuan/FireFlow{this URL}.