Generatieve AI ontmoet 3D: Een overzicht van tekst-naar-3D in het tijdperk van AIGC

Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

May 10, 2023

Auteurs: Chenghao Li, Chaoning Zhang, Atish Waghwase, Lik-Hang Lee, Francois Rameau, Yang Yang, Sung-Ho Bae, Choong Seon Hong

cs.AI

Samenvatting

Generatieve AI (AIGC, ook wel AI-gegenereerde inhoud) heeft de afgelopen jaren opmerkelijke vooruitgang geboekt, waarbij tekstgestuurde inhoudsgeneratie de meest praktische toepassing is, omdat het de interactie tussen menselijke instructies en AIGC mogelijk maakt. Door de ontwikkelingen in tekst-naar-beeldtechnologieën en 3D-modelleringstechnologieën (zoals NeRF), is tekst-naar-3D een nieuw opkomend maar zeer actief onderzoeksgebied geworden. Ons werk biedt de eerste uitgebreide overzichtsstudie over tekst-naar-3D om lezers die geïnteresseerd zijn in deze richting snel op de hoogte te brengen van de snelle ontwikkelingen. Eerst introduceren we 3D-data-representaties, inclusief zowel Euclidische data als niet-Euclidische data. Daarnaast introduceren we verschillende basistechnologieën en vatten we samen hoe recente werken deze basistechnologieën combineren om bevredigende tekst-naar-3D te realiseren. Bovendien vatten we samen hoe tekst-naar-3D-technologie wordt gebruikt in diverse toepassingen, waaronder avatar-generatie, textuur-generatie, vormtransformatie en scènegeneratie.

English

Generative AI (AIGC, a.k.a. AI generated content) has made remarkable progress in the past few years, among which text-guided content generation is the most practical one since it enables the interaction between human instruction and AIGC. Due to the development in text-to-image as well 3D modeling technologies (like NeRF), text-to-3D has become a newly emerging yet highly active research field. Our work conducts the first yet comprehensive survey on text-to-3D to help readers interested in this direction quickly catch up with its fast development. First, we introduce 3D data representations, including both Euclidean data and non-Euclidean data. On top of that, we introduce various foundation technologies as well as summarize how recent works combine those foundation technologies to realize satisfactory text-to-3D. Moreover, we summarize how text-to-3D technology is used in various applications, including avatar generation, texture generation, shape transformation, and scene generation.