Генеративный ИИ встречается с 3D: Обзор методов преобразования текста в 3D в эпоху AIGC

Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

May 10, 2023

Авторы: Chenghao Li, Chaoning Zhang, Atish Waghwase, Lik-Hang Lee, Francois Rameau, Yang Yang, Sung-Ho Bae, Choong Seon Hong

cs.AI

Аннотация

Генеративный ИИ (AIGC, также известный как контент, создаваемый ИИ) добился значительных успехов за последние несколько лет, среди которых наиболее практичным является генерация контента на основе текстовых инструкций, поскольку она позволяет взаимодействовать между человеческими указаниями и AIGC. Благодаря развитию технологий преобразования текста в изображение, а также 3D-моделирования (таких как NeRF), преобразование текста в 3D стало новой, но активно развивающейся областью исследований. Наша работа представляет собой первое всестороннее исследование в области преобразования текста в 3D, которое поможет заинтересованным читателям быстро ознакомиться с его стремительным развитием. Сначала мы рассматриваем представления 3D-данных, включая как евклидовы, так и неевклидовы данные. На основе этого мы описываем различные базовые технологии, а также обобщаем, как последние работы комбинируют эти технологии для достижения удовлетворительного преобразования текста в 3D. Кроме того, мы обобщаем, как технология преобразования текста в 3D используется в различных приложениях, включая генерацию аватаров, создание текстур, преобразование форм и генерацию сцен.

English

Generative AI (AIGC, a.k.a. AI generated content) has made remarkable progress in the past few years, among which text-guided content generation is the most practical one since it enables the interaction between human instruction and AIGC. Due to the development in text-to-image as well 3D modeling technologies (like NeRF), text-to-3D has become a newly emerging yet highly active research field. Our work conducts the first yet comprehensive survey on text-to-3D to help readers interested in this direction quickly catch up with its fast development. First, we introduce 3D data representations, including both Euclidean data and non-Euclidean data. On top of that, we introduce various foundation technologies as well as summarize how recent works combine those foundation technologies to realize satisfactory text-to-3D. Moreover, we summarize how text-to-3D technology is used in various applications, including avatar generation, texture generation, shape transformation, and scene generation.