Blended-NeRF: Generatie en Integratie van Objecten zonder Voorafgaande Training in Bestaande Neural Radiance Fields

Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields

June 22, 2023

Auteurs: Ori Gordon, Omri Avrahami, Dani Lischinski

cs.AI

Samenvatting

Het bewerken van een lokaal gebied of een specifiek object in een 3D-scène die wordt weergegeven door een NeRF is uitdagend, voornamelijk vanwege de impliciete aard van de scèneweergave. Het consistent integreren van een nieuw realistisch object in de scène voegt een extra moeilijkheidsgraad toe. Wij presenteren Blended-NeRF, een robuust en flexibel raamwerk voor het bewerken van een specifiek interessegebied in een bestaande NeRF-scène, gebaseerd op tekstprompts of beeldpatches, samen met een 3D ROI-box. Onze methode maakt gebruik van een vooraf getraind taal-beeldmodel om de synthese te sturen naar een door de gebruiker verstrekte tekstprompt of beeldpatch, samen met een 3D MLP-model dat is geïnitialiseerd op een bestaande NeRF-scène om het object te genereren en het te integreren in een gespecificeerd gebied in de oorspronkelijke scène. We maken lokale bewerking mogelijk door een 3D ROI-box te lokaliseren in de ingevoerde scène, en we integreren de inhoud die binnen de ROI is gesynthetiseerd naadloos met de bestaande scène met behulp van een nieuwe volumetrische blendingtechniek. Om natuurlijk ogende en consistent weergave-resultaten te verkrijgen, maken we gebruik van bestaande en nieuwe geometrische priors en 3D-augmentaties om de visuele kwaliteit van het eindresultaat te verbeteren. We testen ons raamwerk zowel kwalitatief als kwantitatief op een verscheidenheid aan echte 3D-scènes en tekstprompts, waarbij we realistische, multi-view consistente resultaten demonstreren met veel flexibiliteit en diversiteit in vergelijking met de baselines. Tot slot tonen we de toepasbaarheid van ons raamwerk voor verschillende 3D-bewerkingstoepassingen, waaronder het toevoegen van nieuwe objecten aan een scène, het verwijderen/vervangen/aanpassen van bestaande objecten, en textuurconversie.

English

Editing a local region or a specific object in a 3D scene represented by a NeRF is challenging, mainly due to the implicit nature of the scene representation. Consistently blending a new realistic object into the scene adds an additional level of difficulty. We present Blended-NeRF, a robust and flexible framework for editing a specific region of interest in an existing NeRF scene, based on text prompts or image patches, along with a 3D ROI box. Our method leverages a pretrained language-image model to steer the synthesis towards a user-provided text prompt or image patch, along with a 3D MLP model initialized on an existing NeRF scene to generate the object and blend it into a specified region in the original scene. We allow local editing by localizing a 3D ROI box in the input scene, and seamlessly blend the content synthesized inside the ROI with the existing scene using a novel volumetric blending technique. To obtain natural looking and view-consistent results, we leverage existing and new geometric priors and 3D augmentations for improving the visual fidelity of the final result. We test our framework both qualitatively and quantitatively on a variety of real 3D scenes and text prompts, demonstrating realistic multi-view consistent results with much flexibility and diversity compared to the baselines. Finally, we show the applicability of our framework for several 3D editing applications, including adding new objects to a scene, removing/replacing/altering existing objects, and texture conversion.