Consolidazione delle caratteristiche di attenzione per l'editing di immagini multi-vista

Consolidating Attention Features for Multi-view Image Editing

February 22, 2024

Autori: Or Patashnik, Rinon Gal, Daniel Cohen-Or, Jun-Yan Zhu, Fernando De la Torre

cs.AI

Abstract

I modelli su larga scala di generazione di immagini da testo consentono una vasta gamma di tecniche di editing delle immagini, utilizzando prompt testuali o persino controlli spaziali. Tuttavia, applicare questi metodi di editing a immagini multi-vista che rappresentano una singola scena porta a risultati non coerenti in 3D. In questo lavoro, ci concentriamo su manipolazioni geometriche basate su controlli spaziali e introduciamo un metodo per consolidare il processo di editing attraverso diverse viste. Partiamo da due intuizioni: (1) mantenere caratteristiche coerenti durante il processo generativo aiuta a ottenere coerenza nell'editing multi-vista, e (2) le query nei livelli di self-attention influenzano significativamente la struttura dell'immagine. Pertanto, proponiamo di migliorare la coerenza geometrica delle immagini modificate imponendo la coerenza delle query. A tal fine, introduciamo QNeRF, un campo di radianza neurale addestrato sulle caratteristiche interne delle query delle immagini modificate. Una volta addestrato, QNeRF può renderizzare query coerenti in 3D, che vengono poi delicatamente reinserite nei livelli di self-attention durante la generazione, migliorando notevolmente la coerenza multi-vista. Affiniamo il processo attraverso un metodo progressivo e iterativo che consolida meglio le query attraverso i passaggi temporali della diffusione. Confrontiamo il nostro metodo con una gamma di tecniche esistenti e dimostriamo che può ottenere una migliore coerenza multi-vista e una maggiore fedeltà alla scena di input. Questi vantaggi ci permettono di addestrare NeRF con meno artefatti visivi, che sono meglio allineati con la geometria target.

English

Large-scale text-to-image models enable a wide range of image editing techniques, using text prompts or even spatial controls. However, applying these editing methods to multi-view images depicting a single scene leads to 3D-inconsistent results. In this work, we focus on spatial control-based geometric manipulations and introduce a method to consolidate the editing process across various views. We build on two insights: (1) maintaining consistent features throughout the generative process helps attain consistency in multi-view editing, and (2) the queries in self-attention layers significantly influence the image structure. Hence, we propose to improve the geometric consistency of the edited images by enforcing the consistency of the queries. To do so, we introduce QNeRF, a neural radiance field trained on the internal query features of the edited images. Once trained, QNeRF can render 3D-consistent queries, which are then softly injected back into the self-attention layers during generation, greatly improving multi-view consistency. We refine the process through a progressive, iterative method that better consolidates queries across the diffusion timesteps. We compare our method to a range of existing techniques and demonstrate that it can achieve better multi-view consistency and higher fidelity to the input scene. These advantages allow us to train NeRFs with fewer visual artifacts, that are better aligned with the target geometry.