Un livre de recettes de la vision 3D : données, paradigmes d'apprentissage et applications

Résumé

La vision 3D a rapidement évolué, portée par des représentations de données, des paradigmes d'apprentissage et des stratégies de modélisation de plus en plus diversifiés. Pourtant, le domaine reste fragmenté entre représentations et jeux de référence, ce qui rend difficile le développement de perspectives unifiées sur l'efficacité, la fidélité et la scalabilité. Ce travail propose une taxonomie centrée sur les données de la vision 3D qui relie les représentations géométriques, les jeux de données, les cadres d'apprentissage et les applications au sein d'une carte conceptuelle unique. Nous commençons par analyser les principales représentations structurelles des données 3D—nuages de points, maillages, voxels et gaussiennes 3D—ainsi que leurs pipelines d'acquisition. Nous examinons ensuite comment la conception des jeux de données, la construction des références et les régimes de supervision façonnent les avancées récentes, couvrant l'apprentissage 3D supervisé en 2D, les représentations neurales implicites et la modélisation du monde 4D. À travers cette perspective intégrative, nous clarifions les relations entre représentations, paradigmes d'apprentissage et tâches aval en reconstruction, génération et modélisation vidéo, offrant une vision consolidée des tendances émergentes vers un équilibre entre efficacité et fidélité et vers un ancrage géométrique multimodal.

English

3D vision has rapidly evolved, driven by increasingly diverse data representations, learning paradigms, and modeling strategies. Yet the field remains fragmented across representations and benchmarks, making it difficult to develop unified perspectives on efficiency, fidelity, and scalability. This work provides a data-centric taxonomy of 3D vision that connects geometric representations, datasets, learning frameworks, and applications within a single conceptual map. We begin by analysing the principal structural representations of 3D data--point clouds, meshes, voxels, and 3D Gaussians--along with their acquisition pipelines. We then examine how dataset design, benchmark construction, and supervision regimes shape recent advances, spanning 2D-supervised 3D learning, implicit neural representations, and 4D world modeling. Through this integrative lens, we clarify the relationships among representations, learning paradigms, and downstream tasks in reconstruction, generation, and video modeling, offering a consolidated view of emerging trends toward balancing efficiency and fidelity and toward multimodal geometric grounding.