L'IA generativa incontra il 3D: Una rassegna sul testo-a-3D nell'era dell'AIGC

Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

May 10, 2023

Autori: Chenghao Li, Chaoning Zhang, Atish Waghwase, Lik-Hang Lee, Francois Rameau, Yang Yang, Sung-Ho Bae, Choong Seon Hong

cs.AI

Abstract

L'intelligenza artificiale generativa (AIGC, ovvero contenuto generato da AI) ha compiuto progressi significativi negli ultimi anni, tra cui la generazione di contenuti guidata da testo rappresenta l'applicazione più pratica, poiché consente l'interazione tra le istruzioni umane e l'AIGC. Grazie allo sviluppo delle tecnologie di testo-immagine e di modellazione 3D (come NeRF), il campo di ricerca del testo-3D è emerso recentemente come un'area altamente attiva. Il nostro lavoro presenta la prima e più completa rassegna sul testo-3D, con l'obiettivo di aiutare i lettori interessati a questo ambito a tenersi aggiornati sul suo rapido sviluppo. In primo luogo, introduciamo le rappresentazioni dei dati 3D, inclusi sia i dati euclidei che quelli non euclidei. Successivamente, presentiamo varie tecnologie di base e riassumiamo come i lavori recenti combinano queste tecnologie per realizzare risultati soddisfacenti nel testo-3D. Inoltre, sintetizziamo come la tecnologia testo-3D viene utilizzata in diverse applicazioni, tra cui la generazione di avatar, la generazione di texture, la trasformazione di forme e la generazione di scene.

English

Generative AI (AIGC, a.k.a. AI generated content) has made remarkable progress in the past few years, among which text-guided content generation is the most practical one since it enables the interaction between human instruction and AIGC. Due to the development in text-to-image as well 3D modeling technologies (like NeRF), text-to-3D has become a newly emerging yet highly active research field. Our work conducts the first yet comprehensive survey on text-to-3D to help readers interested in this direction quickly catch up with its fast development. First, we introduce 3D data representations, including both Euclidean data and non-Euclidean data. On top of that, we introduce various foundation technologies as well as summarize how recent works combine those foundation technologies to realize satisfactory text-to-3D. Moreover, we summarize how text-to-3D technology is used in various applications, including avatar generation, texture generation, shape transformation, and scene generation.