Edicho: Consistente Beeldbewerking in het Wild

Edicho: Consistent Image Editing in the Wild

December 30, 2024

Auteurs: Qingyan Bai, Hao Ouyang, Yinghao Xu, Qiuyu Wang, Ceyuan Yang, Ka Leong Cheng, Yujun Shen, Qifeng Chen

cs.AI

Samenvatting

Als een bevestigde behoefte blijft consistente bewerking over afbeeldingen in het wild een technische uitdaging vanwege verschillende onbeheersbare factoren, zoals objectposities, lichtomstandigheden en fotografieomgevingen. Edicho biedt een oplossing zonder training op basis van diffusiemodellen, met als fundamenteel ontwerpprincipe het gebruik van expliciete beeldovereenkomsten om bewerkingen te sturen. Belangrijke onderdelen zijn een aandachtsmanipulatiemodule en een zorgvuldig verfijnde begeleidingsstrategie zonder classifier (CFG) voor ruisvermindering, die beide rekening houden met de vooraf geschatte overeenkomst. Een dergelijk algoritme op inferentietijd heeft een plug-and-play karakter en is compatibel met de meeste op diffusie gebaseerde bewerkingsmethoden, zoals ControlNet en BrushNet. Uitgebreide resultaten tonen de doeltreffendheid van Edicho aan bij consistente bewerking tussen afbeeldingen onder diverse omstandigheden. We zullen de code vrijgeven om toekomstige studies te vergemakkelijken.

English

As a verified need, consistent editing across in-the-wild images remains a technical challenge arising from various unmanageable factors, like object poses, lighting conditions, and photography environments. Edicho steps in with a training-free solution based on diffusion models, featuring a fundamental design principle of using explicit image correspondence to direct editing. Specifically, the key components include an attention manipulation module and a carefully refined classifier-free guidance (CFG) denoising strategy, both of which take into account the pre-estimated correspondence. Such an inference-time algorithm enjoys a plug-and-play nature and is compatible to most diffusion-based editing methods, such as ControlNet and BrushNet. Extensive results demonstrate the efficacy of Edicho in consistent cross-image editing under diverse settings. We will release the code to facilitate future studies.