Consolidation des caractéristiques d'attention pour l'édition d'images multi-vues

Consolidating Attention Features for Multi-view Image Editing

February 22, 2024

Auteurs: Or Patashnik, Rinon Gal, Daniel Cohen-Or, Jun-Yan Zhu, Fernando De la Torre

cs.AI

Résumé

Les modèles de génération d'images à grande échelle à partir de texte permettent une large gamme de techniques d'édition d'images, utilisant des invites textuelles ou même des contrôles spatiaux. Cependant, l'application de ces méthodes d'édition à des images multi-vues représentant une seule scène conduit à des résultats incohérents en 3D. Dans ce travail, nous nous concentrons sur les manipulations géométriques basées sur le contrôle spatial et introduisons une méthode pour consolider le processus d'édition à travers différentes vues. Nous nous appuyons sur deux observations : (1) maintenir des caractéristiques cohérentes tout au long du processus de génération aide à atteindre une cohérence dans l'édition multi-vues, et (2) les requêtes dans les couches d'auto-attention influencent significativement la structure de l'image. Par conséquent, nous proposons d'améliorer la cohérence géométrique des images éditées en imposant la cohérence des requêtes. Pour ce faire, nous introduisons QNeRF, un champ de radiance neuronale entraîné sur les caractéristiques internes des requêtes des images éditées. Une fois entraîné, QNeRF peut rendre des requêtes cohérentes en 3D, qui sont ensuite injectées de manière douce dans les couches d'auto-attention pendant la génération, améliorant grandement la cohérence multi-vues. Nous affinons le processus grâce à une méthode progressive et itérative qui consolide mieux les requêtes à travers les étapes de diffusion. Nous comparons notre méthode à une gamme de techniques existantes et démontrons qu'elle peut atteindre une meilleure cohérence multi-vues et une plus grande fidélité à la scène d'entrée. Ces avantages nous permettent d'entraîner des NeRFs avec moins d'artefacts visuels, mieux alignés avec la géométrie cible.

English

Large-scale text-to-image models enable a wide range of image editing techniques, using text prompts or even spatial controls. However, applying these editing methods to multi-view images depicting a single scene leads to 3D-inconsistent results. In this work, we focus on spatial control-based geometric manipulations and introduce a method to consolidate the editing process across various views. We build on two insights: (1) maintaining consistent features throughout the generative process helps attain consistency in multi-view editing, and (2) the queries in self-attention layers significantly influence the image structure. Hence, we propose to improve the geometric consistency of the edited images by enforcing the consistency of the queries. To do so, we introduce QNeRF, a neural radiance field trained on the internal query features of the edited images. Once trained, QNeRF can render 3D-consistent queries, which are then softly injected back into the self-attention layers during generation, greatly improving multi-view consistency. We refine the process through a progressive, iterative method that better consolidates queries across the diffusion timesteps. We compare our method to a range of existing techniques and demonstrate that it can achieve better multi-view consistency and higher fidelity to the input scene. These advantages allow us to train NeRFs with fewer visual artifacts, that are better aligned with the target geometry.