生成AIが3Dと出会う：AIGC時代におけるテキストから3D生成のサーベイ

要旨

生成AI（AIGC、別名AI生成コンテンツ）はここ数年で目覚ましい進歩を遂げており、その中でもテキストガイドによるコンテンツ生成は、人間の指示とAIGCとのインタラクションを可能にするため、最も実用的なものとなっています。テキストから画像への変換技術や3Dモデリング技術（NeRFなど）の発展に伴い、テキストから3Dへの変換は新たに登場したものの、非常に活発な研究分野となっています。本研究では、この分野に興味を持つ読者がその急速な発展に迅速に追いつけるよう、テキストから3Dへの変換に関する初の包括的な調査を行っています。まず、ユークリッドデータと非ユークリッドデータを含む3Dデータ表現を紹介します。その上で、様々な基盤技術を紹介し、最近の研究がそれらの基盤技術をどのように組み合わせて満足のいくテキストから3Dへの変換を実現しているかをまとめます。さらに、アバター生成、テクスチャ生成、形状変換、シーン生成など、テキストから3Dへの変換技術がどのように様々なアプリケーションで使用されているかをまとめます。

English

Generative AI (AIGC, a.k.a. AI generated content) has made remarkable progress in the past few years, among which text-guided content generation is the most practical one since it enables the interaction between human instruction and AIGC. Due to the development in text-to-image as well 3D modeling technologies (like NeRF), text-to-3D has become a newly emerging yet highly active research field. Our work conducts the first yet comprehensive survey on text-to-3D to help readers interested in this direction quickly catch up with its fast development. First, we introduce 3D data representations, including both Euclidean data and non-Euclidean data. On top of that, we introduce various foundation technologies as well as summarize how recent works combine those foundation technologies to realize satisfactory text-to-3D. Moreover, we summarize how text-to-3D technology is used in various applications, including avatar generation, texture generation, shape transformation, and scene generation.

生成AIが3Dと出会う：AIGC時代におけるテキストから3D生成のサーベイ

Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

要旨

Support