Blended-NeRF: Генерация и интеграция объектов в существующие нейронные поля излучения без предварительного обучения

Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields

June 22, 2023

Авторы: Ori Gordon, Omri Avrahami, Dani Lischinski

cs.AI

Аннотация

Редактирование локальной области или конкретного объекта в 3D-сцене, представленной с помощью NeRF, является сложной задачей, главным образом из-за неявного характера представления сцены. Последовательное встраивание нового реалистичного объекта в сцену добавляет дополнительный уровень сложности. Мы представляем Blended-NeRF — надежный и гибкий фреймворк для редактирования конкретной области интереса в существующей NeRF-сцене на основе текстовых запросов или изображений, а также 3D-бокса области интереса (ROI). Наш метод использует предобученную языково-изобразительную модель для направления синтеза в соответствии с предоставленным пользователем текстовым запросом или изображением, а также 3D-модель MLP, инициализированную на существующей NeRF-сцене, для генерации объекта и его встраивания в указанную область исходной сцены. Мы позволяем выполнять локальное редактирование, локализуя 3D-бокс ROI во входной сцене, и бесшовно объединяем содержимое, синтезированное внутри ROI, с существующей сценой с использованием новой техники объемного смешивания. Для получения естественных и согласованных по виду результатов мы используем существующие и новые геометрические априорные данные, а также 3D-аугментации для повышения визуальной достоверности конечного результата. Мы тестируем наш фреймворк как качественно, так и количественно на различных реальных 3D-сценах и текстовых запросах, демонстрируя реалистичные и согласованные по множеству видов результаты с большей гибкостью и разнообразием по сравнению с базовыми методами. Наконец, мы показываем применимость нашего фреймворка для нескольких задач 3D-редактирования, включая добавление новых объектов в сцену, удаление/замену/изменение существующих объектов и преобразование текстур.

English

Editing a local region or a specific object in a 3D scene represented by a NeRF is challenging, mainly due to the implicit nature of the scene representation. Consistently blending a new realistic object into the scene adds an additional level of difficulty. We present Blended-NeRF, a robust and flexible framework for editing a specific region of interest in an existing NeRF scene, based on text prompts or image patches, along with a 3D ROI box. Our method leverages a pretrained language-image model to steer the synthesis towards a user-provided text prompt or image patch, along with a 3D MLP model initialized on an existing NeRF scene to generate the object and blend it into a specified region in the original scene. We allow local editing by localizing a 3D ROI box in the input scene, and seamlessly blend the content synthesized inside the ROI with the existing scene using a novel volumetric blending technique. To obtain natural looking and view-consistent results, we leverage existing and new geometric priors and 3D augmentations for improving the visual fidelity of the final result. We test our framework both qualitatively and quantitatively on a variety of real 3D scenes and text prompts, demonstrating realistic multi-view consistent results with much flexibility and diversity compared to the baselines. Finally, we show the applicability of our framework for several 3D editing applications, including adding new objects to a scene, removing/replacing/altering existing objects, and texture conversion.