Консолидация характеристик внимания для редактирования многовидовых изображений

Consolidating Attention Features for Multi-view Image Editing

February 22, 2024

Авторы: Or Patashnik, Rinon Gal, Daniel Cohen-Or, Jun-Yan Zhu, Fernando De la Torre

cs.AI

Аннотация

Масштабные модели преобразования текста в изображения позволяют реализовать широкий спектр техник редактирования изображений с использованием текстовых запросов или даже пространственных управляющих элементов. Однако применение этих методов редактирования к многовидовым изображениям, изображающим одну сцену, приводит к результатам, не согласованным в 3D. В данной работе мы сосредоточимся на геометрических манипуляциях, основанных на пространственном управлении, и представим метод, который объединяет процесс редактирования для различных видов. Мы основываемся на двух ключевых идеях: (1) поддержание согласованных признаков на протяжении всего процесса генерации способствует достижению согласованности при многовидовом редактировании, и (2) запросы в слоях самовнимания значительно влияют на структуру изображения. Следовательно, мы предлагаем улучшить геометрическую согласованность отредактированных изображений, обеспечивая согласованность запросов. Для этого мы представляем QNeRF — нейронное поле излучения, обученное на внутренних признаках запросов отредактированных изображений. После обучения QNeRF может рендерить 3D-согласованные запросы, которые затем мягко внедряются обратно в слои самовнимания в процессе генерации, значительно улучшая многовидовую согласованность. Мы уточняем процесс с помощью прогрессивного итеративного метода, который лучше объединяет запросы на различных этапах диффузии. Мы сравниваем наш метод с рядом существующих техник и демонстрируем, что он позволяет достичь лучшей многовидовой согласованности и более высокой точности по отношению к исходной сцене. Эти преимущества позволяют нам обучать NeRF с меньшим количеством визуальных артефактов, которые лучше соответствуют целевой геометрии.

English

Large-scale text-to-image models enable a wide range of image editing techniques, using text prompts or even spatial controls. However, applying these editing methods to multi-view images depicting a single scene leads to 3D-inconsistent results. In this work, we focus on spatial control-based geometric manipulations and introduce a method to consolidate the editing process across various views. We build on two insights: (1) maintaining consistent features throughout the generative process helps attain consistency in multi-view editing, and (2) the queries in self-attention layers significantly influence the image structure. Hence, we propose to improve the geometric consistency of the edited images by enforcing the consistency of the queries. To do so, we introduce QNeRF, a neural radiance field trained on the internal query features of the edited images. Once trained, QNeRF can render 3D-consistent queries, which are then softly injected back into the self-attention layers during generation, greatly improving multi-view consistency. We refine the process through a progressive, iterative method that better consolidates queries across the diffusion timesteps. We compare our method to a range of existing techniques and demonstrate that it can achieve better multi-view consistency and higher fidelity to the input scene. These advantages allow us to train NeRFs with fewer visual artifacts, that are better aligned with the target geometry.