Edicho: Согласованное редактирование изображений в естественной среде

Edicho: Consistent Image Editing in the Wild

December 30, 2024

Авторы: Qingyan Bai, Hao Ouyang, Yinghao Xu, Qiuyu Wang, Ceyuan Yang, Ka Leong Cheng, Yujun Shen, Qifeng Chen

cs.AI

Аннотация

Как подтвержденная потребность, последовательное редактирование изображений в естественной среде остается технической проблемой, обусловленной различными неуправляемыми факторами, такими как позы объектов, условия освещения и фотографические окружения. Edicho предлагает решение без обучения на основе моделей диффузии, основанное на фундаментальном принципе использования явной корреспонденции изображений для направления редактирования. В частности, основные компоненты включают модуль манипуляции вниманием и стратегию денойзинга без классификатора (CFG), оба учитывающие предварительно оцененную корреспонденцию. Такой алгоритм времени вывода обладает свойством "подключи и играй" и совместим с большинством методов редактирования на основе диффузии, таких как ControlNet и BrushNet. Обширные результаты демонстрируют эффективность Edicho в последовательном редактировании изображений в различных условиях. Мы выпустим код для облегчения будущих исследований.

English

As a verified need, consistent editing across in-the-wild images remains a technical challenge arising from various unmanageable factors, like object poses, lighting conditions, and photography environments. Edicho steps in with a training-free solution based on diffusion models, featuring a fundamental design principle of using explicit image correspondence to direct editing. Specifically, the key components include an attention manipulation module and a carefully refined classifier-free guidance (CFG) denoising strategy, both of which take into account the pre-estimated correspondence. Such an inference-time algorithm enjoys a plug-and-play nature and is compatible to most diffusion-based editing methods, such as ControlNet and BrushNet. Extensive results demonstrate the efficacy of Edicho in consistent cross-image editing under diverse settings. We will release the code to facilitate future studies.