Inteligência Artificial Generativa encontra o 3D: Uma Análise sobre Texto-para-3D na Era da AIGC

Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

May 10, 2023

Autores: Chenghao Li, Chaoning Zhang, Atish Waghwase, Lik-Hang Lee, Francois Rameau, Yang Yang, Sung-Ho Bae, Choong Seon Hong

cs.AI

Resumo

A Inteligência Artificial Generativa (AIGC, também conhecida como conteúdo gerado por IA) tem feito progressos notáveis nos últimos anos, entre os quais a geração de conteúdo guiada por texto é a mais prática, pois permite a interação entre a instrução humana e a AIGC. Devido ao desenvolvimento das tecnologias de texto para imagem e modelagem 3D (como o NeRF), o texto para 3D tornou-se um campo de pesquisa emergente e altamente ativo. Nosso trabalho realiza o primeiro e mais abrangente levantamento sobre texto para 3D, ajudando leitores interessados nessa direção a acompanhar rapidamente seu rápido desenvolvimento. Primeiro, introduzimos as representações de dados 3D, incluindo dados euclidianos e não euclidianos. Além disso, apresentamos várias tecnologias fundamentais e resumimos como trabalhos recentes combinam essas tecnologias para realizar um texto para 3D satisfatório. Além disso, resumimos como a tecnologia de texto para 3D é utilizada em diversas aplicações, incluindo geração de avatares, geração de texturas, transformação de formas e geração de cenários.

English

Generative AI (AIGC, a.k.a. AI generated content) has made remarkable progress in the past few years, among which text-guided content generation is the most practical one since it enables the interaction between human instruction and AIGC. Due to the development in text-to-image as well 3D modeling technologies (like NeRF), text-to-3D has become a newly emerging yet highly active research field. Our work conducts the first yet comprehensive survey on text-to-3D to help readers interested in this direction quickly catch up with its fast development. First, we introduce 3D data representations, including both Euclidean data and non-Euclidean data. On top of that, we introduce various foundation technologies as well as summarize how recent works combine those foundation technologies to realize satisfactory text-to-3D. Moreover, we summarize how text-to-3D technology is used in various applications, including avatar generation, texture generation, shape transformation, and scene generation.