FireFlow: Inversão Rápida do Fluxo Retificado para Edição Semântica de Imagens

FireFlow: Fast Inversion of Rectified Flow for Image Semantic Editing

December 10, 2024

Autores: Yingying Deng, Xiangyu He, Changwang Mei, Peisong Wang, Fan Tang

cs.AI

Resumo

Embora os Fluxos Retificados (ReFlows) com destilação ofereçam uma maneira promissora de amostragem rápida, sua inversão rápida transforma imagens de volta em ruído estruturado para recuperação e a subsequente edição permanece não resolvida. Este artigo apresenta o FireFlow, uma abordagem simples, porém eficaz, de zero-shot que herda a impressionante capacidade de modelos baseados em ReFlow (como FLUX) na geração, ao mesmo tempo em que estende suas capacidades para inversão e edição precisas em 8 etapas. Demonstramos primeiramente que um solucionador numérico cuidadosamente projetado é fundamental para a inversão do ReFlow, possibilitando uma inversão e reconstrução precisas com a precisão de um solucionador de segunda ordem, mantendo a eficiência prática de um método de Euler de primeira ordem. Este solucionador alcança uma aceleração de tempo de execução de 3 vezes em comparação com as técnicas de inversão e edição de ReFlow de ponta, entregando erros de reconstrução menores e resultados de edição superiores em um modo sem treinamento. O código está disponível em https://github.com/HolmesShuan/FireFlow{this URL}.

English

Though Rectified Flows (ReFlows) with distillation offers a promising way for fast sampling, its fast inversion transforms images back to structured noise for recovery and following editing remains unsolved. This paper introduces FireFlow, a simple yet effective zero-shot approach that inherits the startling capacity of ReFlow-based models (such as FLUX) in generation while extending its capabilities to accurate inversion and editing in 8 steps. We first demonstrate that a carefully designed numerical solver is pivotal for ReFlow inversion, enabling accurate inversion and reconstruction with the precision of a second-order solver while maintaining the practical efficiency of a first-order Euler method. This solver achieves a 3times runtime speedup compared to state-of-the-art ReFlow inversion and editing techniques, while delivering smaller reconstruction errors and superior editing results in a training-free mode. The code is available at https://github.com/HolmesShuan/FireFlow{this URL}.