FireFlow: Быстрое инвертирование прямого потока для редактирования семантики изображений.

FireFlow: Fast Inversion of Rectified Flow for Image Semantic Editing

December 10, 2024

Авторы: Yingying Deng, Xiangyu He, Changwang Mei, Peisong Wang, Fan Tang

cs.AI

Аннотация

Хотя исправленные потоки (ReFlows) с дистилляцией предлагают многообещающий способ быстрого сэмплирования, их быстрое инвертирование преобразует изображения обратно в структурированный шум для восстановления, и проблема последующего редактирования остается нерешенной. В данной статье представлен FireFlow, простой, но эффективный нулевой метод, который наследует поразительные возможности моделей на основе ReFlow (таких как FLUX) в генерации, расширяя их возможности до точного инвертирования и редактирования в 8 шагах. Во-первых, мы демонстрируем, что тщательно разработанный численный солвер является ключевым для инвертирования ReFlow, обеспечивая точное инвертирование и восстановление с точностью солвера второго порядка, сохраняя при этом практическую эффективность метода Эйлера первого порядка. Этот солвер достигает ускорения времени выполнения в 3 раза по сравнению с передовыми техниками инвертирования и редактирования ReFlow, обеспечивая при этом более низкие ошибки реконструкции и превосходные результаты редактирования в режиме обучения. Код доступен по адресу https://github.com/HolmesShuan/FireFlow{this URL}.

English

Though Rectified Flows (ReFlows) with distillation offers a promising way for fast sampling, its fast inversion transforms images back to structured noise for recovery and following editing remains unsolved. This paper introduces FireFlow, a simple yet effective zero-shot approach that inherits the startling capacity of ReFlow-based models (such as FLUX) in generation while extending its capabilities to accurate inversion and editing in 8 steps. We first demonstrate that a carefully designed numerical solver is pivotal for ReFlow inversion, enabling accurate inversion and reconstruction with the precision of a second-order solver while maintaining the practical efficiency of a first-order Euler method. This solver achieves a 3times runtime speedup compared to state-of-the-art ReFlow inversion and editing techniques, while delivering smaller reconstruction errors and superior editing results in a training-free mode. The code is available at https://github.com/HolmesShuan/FireFlow{this URL}.