Progrès dans la génération 3D : une synthèse

Advances in 3D Generation: A Survey

January 31, 2024

Auteurs: Xiaoyu Li, Qi Zhang, Di Kang, Weihao Cheng, Yiming Gao, Jingbo Zhang, Zhihao Liang, Jing Liao, Yan-Pei Cao, Ying Shan

cs.AI

Résumé

La génération de modèles 3D est au cœur de l'informatique graphique et a fait l'objet de décennies de recherche. Avec l'émergence de représentations neuronales avancées et de modèles génératifs, le domaine de la génération de contenu 3D se développe rapidement, permettant la création de modèles 3D de plus en plus diversifiés et de haute qualité. La croissance rapide de ce domaine rend difficile le suivi de toutes les avancées récentes. Dans cette étude, nous visons à introduire les méthodologies fondamentales des méthodes de génération 3D et à établir une feuille de route structurée, englobant la représentation 3D, les méthodes de génération, les jeux de données et les applications correspondantes. Plus précisément, nous présentons les représentations 3D qui servent de fondement à la génération 3D. En outre, nous fournissons un aperçu complet de la littérature en pleine expansion sur les méthodes de génération, classées par type de paradigmes algorithmiques, incluant la génération directe (feedforward), la génération basée sur l'optimisation, la génération procédurale et la synthèse de nouvelles vues génératives. Enfin, nous discutons des jeux de données disponibles, des applications et des défis ouverts. Nous espérons que cette étude aidera les lecteurs à explorer ce sujet passionnant et à favoriser de nouvelles avancées dans le domaine de la génération de contenu 3D.

English

Generating 3D models lies at the core of computer graphics and has been the focus of decades of research. With the emergence of advanced neural representations and generative models, the field of 3D content generation is developing rapidly, enabling the creation of increasingly high-quality and diverse 3D models. The rapid growth of this field makes it difficult to stay abreast of all recent developments. In this survey, we aim to introduce the fundamental methodologies of 3D generation methods and establish a structured roadmap, encompassing 3D representation, generation methods, datasets, and corresponding applications. Specifically, we introduce the 3D representations that serve as the backbone for 3D generation. Furthermore, we provide a comprehensive overview of the rapidly growing literature on generation methods, categorized by the type of algorithmic paradigms, including feedforward generation, optimization-based generation, procedural generation, and generative novel view synthesis. Lastly, we discuss available datasets, applications, and open challenges. We hope this survey will help readers explore this exciting topic and foster further advancements in the field of 3D content generation.