FireFlow: Inversión Rápida del Flujo Rectificado para la Edición Semántica de Imágenes

FireFlow: Fast Inversion of Rectified Flow for Image Semantic Editing

December 10, 2024

Autores: Yingying Deng, Xiangyu He, Changwang Mei, Peisong Wang, Fan Tang

cs.AI

Resumen

Aunque los Flujos Rectificados (ReFlows) con destilación ofrecen una forma prometedora de muestreo rápido, su rápida inversión transforma las imágenes de vuelta a ruido estructurado para la recuperación y la edición posterior, lo cual sigue sin resolverse. Este artículo presenta FireFlow, un enfoque simple pero efectivo de cero disparos que hereda la sorprendente capacidad de los modelos basados en ReFlow (como FLUX) en generación, al tiempo que extiende sus capacidades a la inversión precisa y la edición en 8 pasos. Primero demostramos que un solucionador numérico cuidadosamente diseñado es fundamental para la inversión de ReFlow, permitiendo una inversión y reconstrucción precisas con la precisión de un solucionador de segundo orden, al mismo tiempo que mantiene la eficiencia práctica de un método de Euler de primer orden. Este solucionador logra una aceleración de 3 veces en el tiempo de ejecución en comparación con las técnicas de inversión y edición de ReFlow de última generación, al tiempo que ofrece errores de reconstrucción más pequeños y resultados de edición superiores en un modo sin entrenamiento. El código está disponible en https://github.com/HolmesShuan/FireFlow{esta URL}.

English

Though Rectified Flows (ReFlows) with distillation offers a promising way for fast sampling, its fast inversion transforms images back to structured noise for recovery and following editing remains unsolved. This paper introduces FireFlow, a simple yet effective zero-shot approach that inherits the startling capacity of ReFlow-based models (such as FLUX) in generation while extending its capabilities to accurate inversion and editing in 8 steps. We first demonstrate that a carefully designed numerical solver is pivotal for ReFlow inversion, enabling accurate inversion and reconstruction with the precision of a second-order solver while maintaining the practical efficiency of a first-order Euler method. This solver achieves a 3times runtime speedup compared to state-of-the-art ReFlow inversion and editing techniques, while delivering smaller reconstruction errors and superior editing results in a training-free mode. The code is available at https://github.com/HolmesShuan/FireFlow{this URL}.