TurboEdit: Мгновенное редактирование изображений на основе текста

TurboEdit: Instant text-based image editing

August 14, 2024

Авторы: Zongze Wu, Nicholas Kolkin, Jonathan Brandt, Richard Zhang, Eli Shechtman

cs.AI

Аннотация

Мы рассматриваем проблемы точной инверсии изображения и редактирования изображения с разделением в контексте моделей диффузии с небольшим числом шагов. Мы представляем технику итеративной инверсии на основе кодировщика. Сеть инверсии зависит от входного изображения и восстановленного изображения с предыдущего шага, что позволяет корректировать следующее восстановление в сторону входного изображения. Мы демонстрируем, что разделенное управление легко достигается в модели диффузии с небольшим числом шагов путем условия на (автоматически сгенерированный) подробный текстовый запрос. Для манипулирования инвертированным изображением мы замораживаем карты шума и изменяем один атрибут в текстовом запросе (либо вручную, либо через инструкции, управляемые LLM), что приводит к созданию нового изображения, похожего на входное изображение, с измененным только одним атрибутом. Это также позволяет контролировать силу редактирования и принимать инструктивный текстовый запрос. Наш подход облегчает реалистичное текстовое редактирование изображений в реальном времени, требуя всего 8 функциональных оценок (NFE) при инверсии (единовременные затраты) и 4 NFE на редактирование. Наш метод не только быстр, но также значительно превосходит техники редактирования многократного шага диффузии, использующиеся на данный момент.

English

We address the challenges of precise image inversion and disentangled image editing in the context of few-step diffusion models. We introduce an encoder based iterative inversion technique. The inversion network is conditioned on the input image and the reconstructed image from the previous step, allowing for correction of the next reconstruction towards the input image. We demonstrate that disentangled controls can be easily achieved in the few-step diffusion model by conditioning on an (automatically generated) detailed text prompt. To manipulate the inverted image, we freeze the noise maps and modify one attribute in the text prompt (either manually or via instruction based editing driven by an LLM), resulting in the generation of a new image similar to the input image with only one attribute changed. It can further control the editing strength and accept instructive text prompt. Our approach facilitates realistic text-guided image edits in real-time, requiring only 8 number of functional evaluations (NFEs) in inversion (one-time cost) and 4 NFEs per edit. Our method is not only fast, but also significantly outperforms state-of-the-art multi-step diffusion editing techniques.