Seal-3D: Interactieve Pixel-Level Bewerking voor Neural Radiance Fields

Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

July 27, 2023

Auteurs: Xiangyu Wang, Jingsen Zhu, Qi Ye, Yuchi Huo, Yunlong Ran, Zhihua Zhong, Jiming Chen

cs.AI

Samenvatting

Met de populariteit van impliciete neurale representaties, of neurale stralingsvelden (NeRF), is er een dringende behoefte aan bewerkingsmethoden om te interageren met de impliciete 3D-modellen voor taken zoals nabewerking van gereconstrueerde scènes en 3D-contentcreatie. Hoewel eerdere werken NeRF-bewerking vanuit verschillende perspectieven hebben onderzocht, zijn ze beperkt in bewerkingsflexibiliteit, kwaliteit en snelheid, en bieden ze geen directe bewerkingsrespons en directe preview. De belangrijkste uitdaging is het bedenken van een lokaal bewerkbare neurale representatie die de bewerkingsinstructies direct kan weerspiegelen en onmiddellijk kan worden bijgewerkt. Om deze kloof te overbruggen, stellen we een nieuwe interactieve bewerkingsmethode en systeem voor impliciete representaties voor, genaamd Seal-3D, waarmee gebruikers NeRF-modellen op pixelniveau en op een vrije manier kunnen bewerken met een breed scala aan NeRF-achtige backbones en de bewerkingseffecten direct kunnen previewen. Om deze effecten te bereiken, worden de uitdagingen aangepakt door onze voorgestelde proxyfunctie die de bewerkingsinstructies toewijst aan de oorspronkelijke ruimte van NeRF-modellen en een teacher-student trainingsstrategie met lokale voorafgaande training en globale finetuning. Een NeRF-bewerkingssysteem is gebouwd om verschillende bewerkingstypes te tonen. Ons systeem kan overtuigende bewerkingseffecten bereiken met een interactieve snelheid van ongeveer 1 seconde.

English

With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models and a teacher-student training strategy with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.