Consolidación de características de atención para la edición de imágenes multi-vista
Consolidating Attention Features for Multi-view Image Editing
February 22, 2024
Autores: Or Patashnik, Rinon Gal, Daniel Cohen-Or, Jun-Yan Zhu, Fernando De la Torre
cs.AI
Resumen
Los modelos de texto a imagen a gran escala permiten una amplia gama de técnicas de edición de imágenes, utilizando indicaciones de texto o incluso controles espaciales. Sin embargo, aplicar estos métodos de edición a imágenes de múltiples vistas que representan una sola escena produce resultados inconsistentes en 3D. En este trabajo, nos enfocamos en manipulaciones geométricas basadas en controles espaciales e introducimos un método para consolidar el proceso de edición en varias vistas. Partimos de dos ideas clave: (1) mantener características consistentes durante todo el proceso generativo ayuda a lograr coherencia en la edición de múltiples vistas, y (2) las consultas en las capas de autoatención influyen significativamente en la estructura de la imagen. Por lo tanto, proponemos mejorar la consistencia geométrica de las imágenes editadas reforzando la coherencia de las consultas. Para ello, presentamos QNeRF, un campo de radiación neural entrenado en las características internas de las consultas de las imágenes editadas. Una vez entrenado, QNeRF puede renderizar consultas consistentes en 3D, las cuales se inyectan suavemente de nuevo en las capas de autoatención durante la generación, mejorando notablemente la coherencia de múltiples vistas. Refinamos el proceso mediante un método progresivo e iterativo que consolida mejor las consultas a lo largo de los pasos de difusión. Comparamos nuestro método con una variedad de técnicas existentes y demostramos que puede lograr una mejor consistencia de múltiples vistas y una mayor fidelidad a la escena de entrada. Estas ventajas nos permiten entrenar NeRFs con menos artefactos visuales, que están mejor alineados con la geometría objetivo.
English
Large-scale text-to-image models enable a wide range of image editing
techniques, using text prompts or even spatial controls. However, applying
these editing methods to multi-view images depicting a single scene leads to
3D-inconsistent results. In this work, we focus on spatial control-based
geometric manipulations and introduce a method to consolidate the editing
process across various views. We build on two insights: (1) maintaining
consistent features throughout the generative process helps attain consistency
in multi-view editing, and (2) the queries in self-attention layers
significantly influence the image structure. Hence, we propose to improve the
geometric consistency of the edited images by enforcing the consistency of the
queries. To do so, we introduce QNeRF, a neural radiance field trained on the
internal query features of the edited images. Once trained, QNeRF can render
3D-consistent queries, which are then softly injected back into the
self-attention layers during generation, greatly improving multi-view
consistency. We refine the process through a progressive, iterative method that
better consolidates queries across the diffusion timesteps. We compare our
method to a range of existing techniques and demonstrate that it can achieve
better multi-view consistency and higher fidelity to the input scene. These
advantages allow us to train NeRFs with fewer visual artifacts, that are better
aligned with the target geometry.