FireFlow: Snelle inversie van gerechtvaardigde stroom voor het bewerken van beeldsemantiek

FireFlow: Fast Inversion of Rectified Flow for Image Semantic Editing

December 10, 2024

Auteurs: Yingying Deng, Xiangyu He, Changwang Mei, Peisong Wang, Fan Tang

cs.AI

Samenvatting

Hoewel Rectified Flows (ReFlows) met distillatie een veelbelovende manier bieden voor snelle bemonstering, zorgt de snelle inversie ervoor dat afbeeldingen terug worden getransformeerd naar gestructureerd ruis voor herstel, en het daaropvolgende bewerken blijft onopgelost. Dit artikel introduceert FireFlow, een eenvoudige maar effectieve zero-shot benadering die de opmerkelijke capaciteit van op ReFlow gebaseerde modellen (zoals FLUX) bij generatie overneemt, terwijl het de mogelijkheden uitbreidt naar nauwkeurige inversie en bewerking in 8 stappen. We tonen eerst aan dat een zorgvuldig ontworpen numerieke oplosser cruciaal is voor ReFlow inversie, waardoor nauwkeurige inversie en reconstructie mogelijk zijn met de precisie van een oplosser van de tweede orde, terwijl de praktische efficiëntie van een oplosser van de eerste orde behouden blijft. Deze oplosser bereikt een 3 keer snellere uitvoeringstijd in vergelijking met state-of-the-art ReFlow inversie- en bewerkingstechnieken, terwijl hij kleinere reconstructiefouten en superieure bewerkingsresultaten levert in een trainingvrije modus. De code is beschikbaar op https://github.com/HolmesShuan/FireFlow{deze URL}.

English

Though Rectified Flows (ReFlows) with distillation offers a promising way for fast sampling, its fast inversion transforms images back to structured noise for recovery and following editing remains unsolved. This paper introduces FireFlow, a simple yet effective zero-shot approach that inherits the startling capacity of ReFlow-based models (such as FLUX) in generation while extending its capabilities to accurate inversion and editing in 8 steps. We first demonstrate that a carefully designed numerical solver is pivotal for ReFlow inversion, enabling accurate inversion and reconstruction with the precision of a second-order solver while maintaining the practical efficiency of a first-order Euler method. This solver achieves a 3times runtime speedup compared to state-of-the-art ReFlow inversion and editing techniques, while delivering smaller reconstruction errors and superior editing results in a training-free mode. The code is available at https://github.com/HolmesShuan/FireFlow{this URL}.