생성형 AI와 3D의 만남: AIGC 시대의 텍스트-투-3D 기술에 대한 조사

초록

생성형 AI(AIGC, AI 생성 콘텐츠)는 지난 몇 년 동안 눈부신 발전을 이루었으며, 그 중에서도 텍스트 기반 콘텐츠 생성은 인간의 지시와 AIGC 간의 상호작용을 가능하게 하여 가장 실용적인 분야로 꼽힙니다. 텍스트-이미지 및 3D 모델링 기술(예: NeRF)의 발전으로 인해, 텍스트-3D는 새롭게 등장했지만 매우 활발한 연구 분야로 자리 잡았습니다. 본 연구는 이 분야에 관심 있는 독자들이 빠르게 발전하는 동향을 파악할 수 있도록 텍스트-3D에 대한 첫 번째이자 포괄적인 조사를 진행합니다. 먼저, 유클리드 데이터와 비유클리드 데이터를 포함한 3D 데이터 표현 방식을 소개합니다. 이를 바탕으로 다양한 기반 기술을 소개하고, 최근 연구들이 이러한 기반 기술을 결합하여 만족스러운 텍스트-3D를 구현하는 방법을 요약합니다. 또한, 아바타 생성, 텍스처 생성, 형태 변환, 장면 생성 등 다양한 응용 분야에서 텍스트-3D 기술이 어떻게 활용되는지 정리합니다.

English

Generative AI (AIGC, a.k.a. AI generated content) has made remarkable progress in the past few years, among which text-guided content generation is the most practical one since it enables the interaction between human instruction and AIGC. Due to the development in text-to-image as well 3D modeling technologies (like NeRF), text-to-3D has become a newly emerging yet highly active research field. Our work conducts the first yet comprehensive survey on text-to-3D to help readers interested in this direction quickly catch up with its fast development. First, we introduce 3D data representations, including both Euclidean data and non-Euclidean data. On top of that, we introduce various foundation technologies as well as summarize how recent works combine those foundation technologies to realize satisfactory text-to-3D. Moreover, we summarize how text-to-3D technology is used in various applications, including avatar generation, texture generation, shape transformation, and scene generation.

생성형 AI와 3D의 만남: AIGC 시대의 텍스트-투-3D 기술에 대한 조사

Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

초록

Support