La IA generativa se encuentra con el 3D: Una revisión sobre texto-a-3D en la era de la AIGC

Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

May 10, 2023

Autores: Chenghao Li, Chaoning Zhang, Atish Waghwase, Lik-Hang Lee, Francois Rameau, Yang Yang, Sung-Ho Bae, Choong Seon Hong

cs.AI

Resumen

La IA generativa (AIGC, también conocida como contenido generado por IA) ha logrado avances notables en los últimos años, entre los cuales la generación de contenido guiada por texto es la más práctica, ya que permite la interacción entre las instrucciones humanas y el AIGC. Gracias al desarrollo de las tecnologías de texto a imagen y modelado 3D (como NeRF), el campo de texto a 3D ha emergido como un área de investigación nueva pero altamente activa. Nuestro trabajo realiza la primera encuesta exhaustiva sobre texto a 3D para ayudar a los lectores interesados en esta dirección a ponerse al día rápidamente con su rápido desarrollo. En primer lugar, presentamos las representaciones de datos 3D, incluyendo tanto datos euclidianos como no euclidianos. Sobre esa base, introducimos diversas tecnologías fundamentales y resumimos cómo los trabajos recientes combinan esas tecnologías para lograr resultados satisfactorios en texto a 3D. Además, resumimos cómo la tecnología de texto a 3D se utiliza en diversas aplicaciones, incluyendo la generación de avatares, la generación de texturas, la transformación de formas y la generación de escenas.

English

Generative AI (AIGC, a.k.a. AI generated content) has made remarkable progress in the past few years, among which text-guided content generation is the most practical one since it enables the interaction between human instruction and AIGC. Due to the development in text-to-image as well 3D modeling technologies (like NeRF), text-to-3D has become a newly emerging yet highly active research field. Our work conducts the first yet comprehensive survey on text-to-3D to help readers interested in this direction quickly catch up with its fast development. First, we introduce 3D data representations, including both Euclidean data and non-Euclidean data. On top of that, we introduce various foundation technologies as well as summarize how recent works combine those foundation technologies to realize satisfactory text-to-3D. Moreover, we summarize how text-to-3D technology is used in various applications, including avatar generation, texture generation, shape transformation, and scene generation.