Édicho : Édition d'Images Cohérente dans la Nature

Edicho: Consistent Image Editing in the Wild

December 30, 2024

Auteurs: Qingyan Bai, Hao Ouyang, Yinghao Xu, Qiuyu Wang, Ceyuan Yang, Ka Leong Cheng, Yujun Shen, Qifeng Chen

cs.AI

Résumé

En tant que besoin vérifié, l'édition cohérente à travers des images prises dans la nature reste un défi technique découlant de divers facteurs ingérables, tels que les poses d'objets, les conditions d'éclairage et les environnements de photographie. Edicho intervient avec une solution sans entraînement basée sur des modèles de diffusion, mettant en avant un principe de conception fondamental utilisant une correspondance d'image explicite pour orienter l'édition. Plus précisément, les composants clés comprennent un module de manipulation de l'attention et une stratégie de débruitage sans classificateur (CFG) soigneusement affinée, tous deux prenant en compte la correspondance pré-estimée. Un tel algorithme à l'heure de l'inférence bénéficie d'une nature plug-and-play et est compatible avec la plupart des méthodes d'édition basées sur la diffusion, telles que ControlNet et BrushNet. Des résultats approfondis démontrent l'efficacité d'Edicho dans l'édition cohérente entre images dans des paramètres divers. Nous publierons le code pour faciliter les études futures.

English

As a verified need, consistent editing across in-the-wild images remains a technical challenge arising from various unmanageable factors, like object poses, lighting conditions, and photography environments. Edicho steps in with a training-free solution based on diffusion models, featuring a fundamental design principle of using explicit image correspondence to direct editing. Specifically, the key components include an attention manipulation module and a carefully refined classifier-free guidance (CFG) denoising strategy, both of which take into account the pre-estimated correspondence. Such an inference-time algorithm enjoys a plug-and-play nature and is compatible to most diffusion-based editing methods, such as ControlNet and BrushNet. Extensive results demonstrate the efficacy of Edicho in consistent cross-image editing under diverse settings. We will release the code to facilitate future studies.