Consolidación de características de atención para la edición de imágenes multi-vista

Consolidating Attention Features for Multi-view Image Editing

February 22, 2024

Autores: Or Patashnik, Rinon Gal, Daniel Cohen-Or, Jun-Yan Zhu, Fernando De la Torre

cs.AI

Resumen

Los modelos de texto a imagen a gran escala permiten una amplia gama de técnicas de edición de imágenes, utilizando indicaciones de texto o incluso controles espaciales. Sin embargo, aplicar estos métodos de edición a imágenes de múltiples vistas que representan una sola escena produce resultados inconsistentes en 3D. En este trabajo, nos enfocamos en manipulaciones geométricas basadas en controles espaciales e introducimos un método para consolidar el proceso de edición en varias vistas. Partimos de dos ideas clave: (1) mantener características consistentes durante todo el proceso generativo ayuda a lograr coherencia en la edición de múltiples vistas, y (2) las consultas en las capas de autoatención influyen significativamente en la estructura de la imagen. Por lo tanto, proponemos mejorar la consistencia geométrica de las imágenes editadas reforzando la coherencia de las consultas. Para ello, presentamos QNeRF, un campo de radiación neural entrenado en las características internas de las consultas de las imágenes editadas. Una vez entrenado, QNeRF puede renderizar consultas consistentes en 3D, las cuales se inyectan suavemente de nuevo en las capas de autoatención durante la generación, mejorando notablemente la coherencia de múltiples vistas. Refinamos el proceso mediante un método progresivo e iterativo que consolida mejor las consultas a lo largo de los pasos de difusión. Comparamos nuestro método con una variedad de técnicas existentes y demostramos que puede lograr una mejor consistencia de múltiples vistas y una mayor fidelidad a la escena de entrada. Estas ventajas nos permiten entrenar NeRFs con menos artefactos visuales, que están mejor alineados con la geometría objetivo.

English

Large-scale text-to-image models enable a wide range of image editing techniques, using text prompts or even spatial controls. However, applying these editing methods to multi-view images depicting a single scene leads to 3D-inconsistent results. In this work, we focus on spatial control-based geometric manipulations and introduce a method to consolidate the editing process across various views. We build on two insights: (1) maintaining consistent features throughout the generative process helps attain consistency in multi-view editing, and (2) the queries in self-attention layers significantly influence the image structure. Hence, we propose to improve the geometric consistency of the edited images by enforcing the consistency of the queries. To do so, we introduce QNeRF, a neural radiance field trained on the internal query features of the edited images. Once trained, QNeRF can render 3D-consistent queries, which are then softly injected back into the self-attention layers during generation, greatly improving multi-view consistency. We refine the process through a progressive, iterative method that better consolidates queries across the diffusion timesteps. We compare our method to a range of existing techniques and demonstrate that it can achieve better multi-view consistency and higher fidelity to the input scene. These advantages allow us to train NeRFs with fewer visual artifacts, that are better aligned with the target geometry.