Консолидация характеристик внимания для редактирования многовидовых изображений
Consolidating Attention Features for Multi-view Image Editing
February 22, 2024
Авторы: Or Patashnik, Rinon Gal, Daniel Cohen-Or, Jun-Yan Zhu, Fernando De la Torre
cs.AI
Аннотация
Масштабные модели преобразования текста в изображения позволяют реализовать широкий спектр техник редактирования изображений с использованием текстовых запросов или даже пространственных управляющих элементов. Однако применение этих методов редактирования к многовидовым изображениям, изображающим одну сцену, приводит к результатам, не согласованным в 3D. В данной работе мы сосредоточимся на геометрических манипуляциях, основанных на пространственном управлении, и представим метод, который объединяет процесс редактирования для различных видов. Мы основываемся на двух ключевых идеях: (1) поддержание согласованных признаков на протяжении всего процесса генерации способствует достижению согласованности при многовидовом редактировании, и (2) запросы в слоях самовнимания значительно влияют на структуру изображения. Следовательно, мы предлагаем улучшить геометрическую согласованность отредактированных изображений, обеспечивая согласованность запросов. Для этого мы представляем QNeRF — нейронное поле излучения, обученное на внутренних признаках запросов отредактированных изображений. После обучения QNeRF может рендерить 3D-согласованные запросы, которые затем мягко внедряются обратно в слои самовнимания в процессе генерации, значительно улучшая многовидовую согласованность. Мы уточняем процесс с помощью прогрессивного итеративного метода, который лучше объединяет запросы на различных этапах диффузии. Мы сравниваем наш метод с рядом существующих техник и демонстрируем, что он позволяет достичь лучшей многовидовой согласованности и более высокой точности по отношению к исходной сцене. Эти преимущества позволяют нам обучать NeRF с меньшим количеством визуальных артефактов, которые лучше соответствуют целевой геометрии.
English
Large-scale text-to-image models enable a wide range of image editing
techniques, using text prompts or even spatial controls. However, applying
these editing methods to multi-view images depicting a single scene leads to
3D-inconsistent results. In this work, we focus on spatial control-based
geometric manipulations and introduce a method to consolidate the editing
process across various views. We build on two insights: (1) maintaining
consistent features throughout the generative process helps attain consistency
in multi-view editing, and (2) the queries in self-attention layers
significantly influence the image structure. Hence, we propose to improve the
geometric consistency of the edited images by enforcing the consistency of the
queries. To do so, we introduce QNeRF, a neural radiance field trained on the
internal query features of the edited images. Once trained, QNeRF can render
3D-consistent queries, which are then softly injected back into the
self-attention layers during generation, greatly improving multi-view
consistency. We refine the process through a progressive, iterative method that
better consolidates queries across the diffusion timesteps. We compare our
method to a range of existing techniques and demonstrate that it can achieve
better multi-view consistency and higher fidelity to the input scene. These
advantages allow us to train NeRFs with fewer visual artifacts, that are better
aligned with the target geometry.