Generative KI trifft auf 3D: Ein Überblick über Text-zu-3D im Zeitalter der KI-generierten Inhalte

Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

May 10, 2023

Autoren: Chenghao Li, Chaoning Zhang, Atish Waghwase, Lik-Hang Lee, Francois Rameau, Yang Yang, Sung-Ho Bae, Choong Seon Hong

cs.AI

Zusammenfassung

Generative KI (AIGC, auch bekannt als KI-generierte Inhalte) hat in den letzten Jahren bemerkenswerte Fortschritte gemacht, wobei die textgesteuerte Inhaltsgenerierung die praktischste Anwendung darstellt, da sie die Interaktion zwischen menschlichen Anweisungen und AIGC ermöglicht. Durch die Entwicklungen in den Bereichen Text-zu-Bild sowie 3D-Modellierungstechnologien (wie NeRF) ist Text-zu-3D zu einem neu entstehenden, aber äußerst aktiven Forschungsgebiet geworden. Unsere Arbeit bietet die erste umfassende Übersicht über Text-zu-3D, um Leser, die an diesem Bereich interessiert sind, dabei zu unterstützen, schnell mit der rasanten Entwicklung Schritt zu halten. Zunächst führen wir 3D-Datenrepräsentationen ein, einschließlich sowohl euklidischer als auch nicht-euklidischer Daten. Darauf aufbauend stellen wir verschiedene Basistechnologien vor und fassen zusammen, wie aktuelle Arbeiten diese Basistechnologien kombinieren, um zufriedenstellende Text-zu-3D-Ergebnisse zu erzielen. Darüber hinaus geben wir einen Überblick darüber, wie Text-zu-3D-Technologie in verschiedenen Anwendungen eingesetzt wird, einschließlich Avatar-Generierung, Texturgenerierung, Formtransformation und Szenengenerierung.

English

Generative AI (AIGC, a.k.a. AI generated content) has made remarkable progress in the past few years, among which text-guided content generation is the most practical one since it enables the interaction between human instruction and AIGC. Due to the development in text-to-image as well 3D modeling technologies (like NeRF), text-to-3D has become a newly emerging yet highly active research field. Our work conducts the first yet comprehensive survey on text-to-3D to help readers interested in this direction quickly catch up with its fast development. First, we introduce 3D data representations, including both Euclidean data and non-Euclidean data. On top of that, we introduce various foundation technologies as well as summarize how recent works combine those foundation technologies to realize satisfactory text-to-3D. Moreover, we summarize how text-to-3D technology is used in various applications, including avatar generation, texture generation, shape transformation, and scene generation.