Consolidation des caractéristiques d'attention pour l'édition d'images multi-vues
Consolidating Attention Features for Multi-view Image Editing
February 22, 2024
Auteurs: Or Patashnik, Rinon Gal, Daniel Cohen-Or, Jun-Yan Zhu, Fernando De la Torre
cs.AI
Résumé
Les modèles de génération d'images à grande échelle à partir de texte permettent une large gamme de techniques d'édition d'images, utilisant des invites textuelles ou même des contrôles spatiaux. Cependant, l'application de ces méthodes d'édition à des images multi-vues représentant une seule scène conduit à des résultats incohérents en 3D. Dans ce travail, nous nous concentrons sur les manipulations géométriques basées sur le contrôle spatial et introduisons une méthode pour consolider le processus d'édition à travers différentes vues. Nous nous appuyons sur deux observations : (1) maintenir des caractéristiques cohérentes tout au long du processus de génération aide à atteindre une cohérence dans l'édition multi-vues, et (2) les requêtes dans les couches d'auto-attention influencent significativement la structure de l'image. Par conséquent, nous proposons d'améliorer la cohérence géométrique des images éditées en imposant la cohérence des requêtes. Pour ce faire, nous introduisons QNeRF, un champ de radiance neuronale entraîné sur les caractéristiques internes des requêtes des images éditées. Une fois entraîné, QNeRF peut rendre des requêtes cohérentes en 3D, qui sont ensuite injectées de manière douce dans les couches d'auto-attention pendant la génération, améliorant grandement la cohérence multi-vues. Nous affinons le processus grâce à une méthode progressive et itérative qui consolide mieux les requêtes à travers les étapes de diffusion. Nous comparons notre méthode à une gamme de techniques existantes et démontrons qu'elle peut atteindre une meilleure cohérence multi-vues et une plus grande fidélité à la scène d'entrée. Ces avantages nous permettent d'entraîner des NeRFs avec moins d'artefacts visuels, mieux alignés avec la géométrie cible.
English
Large-scale text-to-image models enable a wide range of image editing
techniques, using text prompts or even spatial controls. However, applying
these editing methods to multi-view images depicting a single scene leads to
3D-inconsistent results. In this work, we focus on spatial control-based
geometric manipulations and introduce a method to consolidate the editing
process across various views. We build on two insights: (1) maintaining
consistent features throughout the generative process helps attain consistency
in multi-view editing, and (2) the queries in self-attention layers
significantly influence the image structure. Hence, we propose to improve the
geometric consistency of the edited images by enforcing the consistency of the
queries. To do so, we introduce QNeRF, a neural radiance field trained on the
internal query features of the edited images. Once trained, QNeRF can render
3D-consistent queries, which are then softly injected back into the
self-attention layers during generation, greatly improving multi-view
consistency. We refine the process through a progressive, iterative method that
better consolidates queries across the diffusion timesteps. We compare our
method to a range of existing techniques and demonstrate that it can achieve
better multi-view consistency and higher fidelity to the input scene. These
advantages allow us to train NeRFs with fewer visual artifacts, that are better
aligned with the target geometry.