Progressive3D: Постепенное локальное редактирование для создания 3D-контента на основе текстовых запросов со сложной семантикой

Progressive3D: Progressively Local Editing for Text-to-3D Content Creation with Complex Semantic Prompts

October 18, 2023

Авторы: Xinhua Cheng, Tianyu Yang, Jianan Wang, Yu Li, Lei Zhang, Jian Zhang, Li Yuan

cs.AI

Аннотация

Современные методы генерации 3D-контента на основе текста демонстрируют впечатляющие возможности создания трехмерных объектов благодаря прогрессу в моделях диффузии изображений и стратегиях оптимизации. Однако текущие подходы сталкиваются с трудностями при генерации корректного 3D-контента для сложных запросов с точки зрения семантики, то есть запросов, описывающих несколько взаимодействующих объектов, связанных с различными атрибутами. В данной работе мы предлагаем общий фреймворк под названием Progressive3D, который разбивает процесс генерации на серию локально прогрессивных шагов редактирования для создания точного 3D-контента для сложных запросов, при этом ограничивая изменения контента только областями, определенными пользовательскими региональными запросами на каждом шаге редактирования. Кроме того, мы предлагаем технику подавления перекрывающихся семантических компонентов, чтобы стимулировать процесс оптимизации сосредоточиться на семантических различиях между запросами. Многочисленные эксперименты показывают, что предложенный фреймворк Progressive3D генерирует точный 3D-контент для запросов со сложной семантикой и является универсальным для различных методов генерации 3D-контента на основе текста, использующих различные 3D-представления.

English

Recent text-to-3D generation methods achieve impressive 3D content creation capacity thanks to the advances in image diffusion models and optimizing strategies. However, current methods struggle to generate correct 3D content for a complex prompt in semantics, i.e., a prompt describing multiple interacted objects binding with different attributes. In this work, we propose a general framework named Progressive3D, which decomposes the entire generation into a series of locally progressive editing steps to create precise 3D content for complex prompts, and we constrain the content change to only occur in regions determined by user-defined region prompts in each editing step. Furthermore, we propose an overlapped semantic component suppression technique to encourage the optimization process to focus more on the semantic differences between prompts. Extensive experiments demonstrate that the proposed Progressive3D framework generates precise 3D content for prompts with complex semantics and is general for various text-to-3D methods driven by different 3D representations.