Blended-NeRF: Geração e Integração de Objetos Zero-Shot em Campos de Radiação Neural Existentes

Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields

June 22, 2023

Autores: Ori Gordon, Omri Avrahami, Dani Lischinski

cs.AI

Resumo

Editar uma região local ou um objeto específico em uma cena 3D representada por um NeRF é desafiador, principalmente devido à natureza implícita da representação da cena. Misturar de forma consistente um novo objeto realista à cena adiciona um nível adicional de dificuldade. Apresentamos o Blended-NeRF, uma estrutura robusta e flexível para editar uma região de interesse específica em uma cena NeRF existente, com base em prompts de texto ou patches de imagem, juntamente com uma caixa ROI 3D. Nosso método aproveita um modelo de linguagem-imagem pré-treinado para direcionar a síntese em direção a um prompt de texto ou patch de imagem fornecido pelo usuário, juntamente com um modelo MLP 3D inicializado em uma cena NeRF existente para gerar o objeto e integrá-lo a uma região especificada na cena original. Permitimos a edição local ao posicionar uma caixa ROI 3D na cena de entrada e misturamos de forma contínua o conteúdo sintetizado dentro da ROI com a cena existente usando uma nova técnica de mistura volumétrica. Para obter resultados visualmente naturais e consistentes entre diferentes ângulos, aproveitamos prioridades geométricas existentes e novas, além de aumentações 3D para melhorar a fidelidade visual do resultado final. Testamos nossa estrutura de forma qualitativa e quantitativa em uma variedade de cenas 3D reais e prompts de texto, demonstrando resultados realistas e consistentes em múltiplas visões com maior flexibilidade e diversidade em comparação com as abordagens de referência. Por fim, mostramos a aplicabilidade de nossa estrutura para várias aplicações de edição 3D, incluindo adicionar novos objetos a uma cena, remover/substituir/alterar objetos existentes e conversão de texturas.

English

Editing a local region or a specific object in a 3D scene represented by a NeRF is challenging, mainly due to the implicit nature of the scene representation. Consistently blending a new realistic object into the scene adds an additional level of difficulty. We present Blended-NeRF, a robust and flexible framework for editing a specific region of interest in an existing NeRF scene, based on text prompts or image patches, along with a 3D ROI box. Our method leverages a pretrained language-image model to steer the synthesis towards a user-provided text prompt or image patch, along with a 3D MLP model initialized on an existing NeRF scene to generate the object and blend it into a specified region in the original scene. We allow local editing by localizing a 3D ROI box in the input scene, and seamlessly blend the content synthesized inside the ROI with the existing scene using a novel volumetric blending technique. To obtain natural looking and view-consistent results, we leverage existing and new geometric priors and 3D augmentations for improving the visual fidelity of the final result. We test our framework both qualitatively and quantitatively on a variety of real 3D scenes and text prompts, demonstrating realistic multi-view consistent results with much flexibility and diversity compared to the baselines. Finally, we show the applicability of our framework for several 3D editing applications, including adding new objects to a scene, removing/replacing/altering existing objects, and texture conversion.