Progressive3D: Progressives lokales Bearbeiten für die Text-zu-3D-Inhaltserstellung mit komplexen semantischen Eingabeaufforderungen

Progressive3D: Progressively Local Editing for Text-to-3D Content Creation with Complex Semantic Prompts

October 18, 2023

Autoren: Xinhua Cheng, Tianyu Yang, Jianan Wang, Yu Li, Lei Zhang, Jian Zhang, Li Yuan

cs.AI

Zusammenfassung

Aktuelle Text-zu-3D-Generierungsmethoden erreichen eine beeindruckende Fähigkeit zur 3D-Inhaltserstellung dank der Fortschritte in Bilddiffusionsmodellen und Optimierungsstrategien. Allerdings haben bestehende Methoden Schwierigkeiten, korrekte 3D-Inhalte für komplexe Prompts in Bezug auf die Semantik zu generieren, d. h. für Prompts, die mehrere interagierende Objekte mit unterschiedlichen Attributen beschreiben. In dieser Arbeit schlagen wir ein allgemeines Framework namens Progressive3D vor, das die gesamte Generierung in eine Reihe von lokal progressiven Bearbeitungsschritten zerlegt, um präzise 3D-Inhalte für komplexe Prompts zu erstellen. Dabei beschränken wir die Inhaltsänderungen in jedem Bearbeitungsschritt auf Regionen, die durch benutzerdefinierte Regions-Prompts bestimmt werden. Darüber hinaus schlagen wir eine Technik zur Unterdrückung überlappender semantischer Komponenten vor, um den Optimierungsprozess stärker auf die semantischen Unterschiede zwischen den Prompts zu fokussieren. Umfangreiche Experimente zeigen, dass das vorgeschlagene Progressive3D-Framework präzise 3D-Inhalte für Prompts mit komplexer Semantik generiert und für verschiedene Text-zu-3D-Methoden, die durch unterschiedliche 3D-Repräsentationen angetrieben werden, allgemein anwendbar ist.

English

Recent text-to-3D generation methods achieve impressive 3D content creation capacity thanks to the advances in image diffusion models and optimizing strategies. However, current methods struggle to generate correct 3D content for a complex prompt in semantics, i.e., a prompt describing multiple interacted objects binding with different attributes. In this work, we propose a general framework named Progressive3D, which decomposes the entire generation into a series of locally progressive editing steps to create precise 3D content for complex prompts, and we constrain the content change to only occur in regions determined by user-defined region prompts in each editing step. Furthermore, we propose an overlapped semantic component suppression technique to encourage the optimization process to focus more on the semantic differences between prompts. Extensive experiments demonstrate that the proposed Progressive3D framework generates precise 3D content for prompts with complex semantics and is general for various text-to-3D methods driven by different 3D representations.