DreamEditor: Textgesteuerte 3D-Szenenbearbeitung mit neuronalen Feldern

DreamEditor: Text-Driven 3D Scene Editing with Neural Fields

June 23, 2023

papers.authors: Jingyu Zhuang, Chen Wang, Lingjie Liu, Liang Lin, Guanbin Li

cs.AI

papers.abstract

Neurale Felder haben beeindruckende Fortschritte in der Ansichtssynthese und Szenenrekonstruktion erzielt. Die Bearbeitung dieser neuralen Felder bleibt jedoch aufgrund der impliziten Kodierung von Geometrie- und Texturinformationen eine Herausforderung. In diesem Artikel stellen wir DreamEditor vor, ein neuartiges Framework, das Benutzern ermöglicht, kontrollierte Bearbeitungen von neuralen Feldern mithilfe von Textprompts durchzuführen. Indem Szenen als mesh-basierte neurale Felder dargestellt werden, ermöglicht DreamEditor lokalisierte Bearbeitungen innerhalb spezifischer Regionen. DreamEditor nutzt den Text-Encoder eines vortrainierten Text-zu-Bild-Diffusionsmodells, um automatisch die zu bearbeitenden Regionen basierend auf der Semantik der Textprompts zu identifizieren. Anschließend optimiert DreamEditor die Bearbeitungsregion und passt deren Geometrie und Textur mithilfe von Score Distillation Sampling [29] an die Textprompts an. Umfangreiche Experimente haben gezeigt, dass DreamEditor neurale Felder realer Szenen gemäß den gegebenen Textprompts präzise bearbeiten kann, während die Konsistenz in irrelevanten Bereichen gewährleistet bleibt. DreamEditor erzeugt hochrealistische Texturen und Geometrien und übertrifft damit frühere Arbeiten sowohl in quantitativen als auch in qualitativen Bewertungen deutlich.

English

Neural fields have achieved impressive advancements in view synthesis and scene reconstruction. However, editing these neural fields remains challenging due to the implicit encoding of geometry and texture information. In this paper, we propose DreamEditor, a novel framework that enables users to perform controlled editing of neural fields using text prompts. By representing scenes as mesh-based neural fields, DreamEditor allows localized editing within specific regions. DreamEditor utilizes the text encoder of a pretrained text-to-Image diffusion model to automatically identify the regions to be edited based on the semantics of the text prompts. Subsequently, DreamEditor optimizes the editing region and aligns its geometry and texture with the text prompts through score distillation sampling [29]. Extensive experiments have demonstrated that DreamEditor can accurately edit neural fields of real-world scenes according to the given text prompts while ensuring consistency in irrelevant areas. DreamEditor generates highly realistic textures and geometry, significantly surpassing previous works in both quantitative and qualitative evaluations.