L'IA générative rencontre la 3D : Un panorama sur la génération de texte vers la 3D à l'ère de l'IA générative de contenu (AIGC)

Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

May 10, 2023

Auteurs: Chenghao Li, Chaoning Zhang, Atish Waghwase, Lik-Hang Lee, Francois Rameau, Yang Yang, Sung-Ho Bae, Choong Seon Hong

cs.AI

Résumé

L'intelligence artificielle générative (AIGC, ou contenu généré par IA) a réalisé des progrès remarquables au cours des dernières années, parmi lesquels la génération de contenu guidée par texte est la plus pratique, car elle permet l'interaction entre les instructions humaines et l'AIGC. Grâce aux avancées dans les technologies de conversion texte-image ainsi que dans la modélisation 3D (comme NeRF), la conversion texte-3D est devenue un domaine de recherche émergent et très actif. Notre travail propose la première étude exhaustive sur le texte-3D, afin d'aider les lecteurs intéressés par ce domaine à suivre rapidement son développement rapide. Tout d'abord, nous présentons les représentations de données 3D, incluant à la fois les données euclidiennes et non euclidiennes. Ensuite, nous introduisons diverses technologies de base et résumons comment les travaux récents combinent ces technologies pour réaliser une conversion texte-3D satisfaisante. De plus, nous synthétisons les applications de la technologie texte-3D, notamment la génération d'avatars, la génération de textures, la transformation de formes et la génération de scènes.

English

Generative AI (AIGC, a.k.a. AI generated content) has made remarkable progress in the past few years, among which text-guided content generation is the most practical one since it enables the interaction between human instruction and AIGC. Due to the development in text-to-image as well 3D modeling technologies (like NeRF), text-to-3D has become a newly emerging yet highly active research field. Our work conducts the first yet comprehensive survey on text-to-3D to help readers interested in this direction quickly catch up with its fast development. First, we introduce 3D data representations, including both Euclidean data and non-Euclidean data. On top of that, we introduce various foundation technologies as well as summarize how recent works combine those foundation technologies to realize satisfactory text-to-3D. Moreover, we summarize how text-to-3D technology is used in various applications, including avatar generation, texture generation, shape transformation, and scene generation.