FireFlow: 画像意味編集のための整流されたフローの高速反転

FireFlow: Fast Inversion of Rectified Flow for Image Semantic Editing

December 10, 2024

著者: Yingying Deng, Xiangyu He, Changwang Mei, Peisong Wang, Fan Tang

cs.AI

要旨

Rectified Flows（ReFlows）と蒸留を組み合わせた手法は高速なサンプリングを提供する可能性がありますが、その高速な反転変換により画像が構造化されたノイズに戻ってしまい、回復および後続の編集が未解決のままです。本論文では、FireFlowというシンプルかつ効果的なゼロショットアプローチを紹介し、ReFlowベースのモデル（例：FLUX）の驚異的な生成能力を継承しつつ、正確な反転と編集を8段階で実現しています。まず、ReFlowの反転には慎重に設計された数値ソルバーが不可欠であることを示し、第2階微分ソルバーの精度を保ちながら第1階オイラー法の実用的な効率性を維持することが可能です。このソルバーは、最先端のReFlow反転および編集技術と比較して3倍のランタイム高速化を実現し、トレーニング不要のモードでより小さな再構成エラーと優れた編集結果を提供します。コードは以下のURLから入手できます：https://github.com/HolmesShuan/FireFlow{このURL}。

English

Though Rectified Flows (ReFlows) with distillation offers a promising way for fast sampling, its fast inversion transforms images back to structured noise for recovery and following editing remains unsolved. This paper introduces FireFlow, a simple yet effective zero-shot approach that inherits the startling capacity of ReFlow-based models (such as FLUX) in generation while extending its capabilities to accurate inversion and editing in 8 steps. We first demonstrate that a carefully designed numerical solver is pivotal for ReFlow inversion, enabling accurate inversion and reconstruction with the precision of a second-order solver while maintaining the practical efficiency of a first-order Euler method. This solver achieves a 3times runtime speedup compared to state-of-the-art ReFlow inversion and editing techniques, while delivering smaller reconstruction errors and superior editing results in a training-free mode. The code is available at https://github.com/HolmesShuan/FireFlow{this URL}.