Een kookboek van 3D-visie: Data, leerparadigma's en toepassing

Samenvatting

3D-visie heeft zich snel ontwikkeld, gedreven door steeds diversere datarepresentaties, leerparadigma’s en modelleerstrategieën. Toch blijft het veld gefragmenteerd over representaties en benchmarks heen, wat het moeilijk maakt om uniforme perspectieven te ontwikkelen op efficiëntie, getrouwheid en schaalbaarheid. Dit werk biedt een data-gecentreerde taxonomie van 3D-visie die geometrische representaties, datasets, leerkaders en toepassingen verbindt binnen één conceptuele kaart. We beginnen met het analyseren van de voornaamste structurele representaties van 3D-data—puntenwolken, meshes, voxels en 3D-Gaussianen—samen met hun acquisitiepijplijnen. Vervolgens onderzoeken we hoe datasetontwerp, benchmarkconstructie en supervisie-regimes de recente vooruitgang vormgeven, variërend van 2D-gesuperviseerd 3D-leren, impliciete neurale representaties tot 4D-wereldmodellering. Door deze integrerende lens verduidelijken we de relaties tussen representaties, leerparadigma’s en downstream taken op het gebied van reconstructie, generatie en videomodellering, en bieden we een samenvattend overzicht van opkomende trends in het balanceren van efficiëntie en getrouwheid en in multimodale geometrische verankering.

English

3D vision has rapidly evolved, driven by increasingly diverse data representations, learning paradigms, and modeling strategies. Yet the field remains fragmented across representations and benchmarks, making it difficult to develop unified perspectives on efficiency, fidelity, and scalability. This work provides a data-centric taxonomy of 3D vision that connects geometric representations, datasets, learning frameworks, and applications within a single conceptual map. We begin by analysing the principal structural representations of 3D data--point clouds, meshes, voxels, and 3D Gaussians--along with their acquisition pipelines. We then examine how dataset design, benchmark construction, and supervision regimes shape recent advances, spanning 2D-supervised 3D learning, implicit neural representations, and 4D world modeling. Through this integrative lens, we clarify the relationships among representations, learning paradigms, and downstream tasks in reconstruction, generation, and video modeling, offering a consolidated view of emerging trends toward balancing efficiency and fidelity and toward multimodal geometric grounding.