Ein Kochbuch der 3D-Vision: Daten, Lernparadigmen und Anwendung

Zusammenfassung

Die 3D-Bildverarbeitung hat sich rasant weiterentwickelt, angetrieben durch zunehmend vielfältige Datenrepräsentationen, Lernparadigmen und Modellierungsstrategien. Dennoch bleibt das Feld über Repräsentationen und Benchmarks hinweg fragmentiert, was es erschwert, einheitliche Perspektiven auf Effizienz, Genauigkeit und Skalierbarkeit zu entwickeln. Diese Arbeit bietet eine datenzentrierte Taxonomie der 3D-Bildverarbeitung, die geometrische Repräsentationen, Datensätze, Lernrahmenwerke und Anwendungen in einer einzigen konzeptionellen Karte verbindet. Wir beginnen mit der Analyse der wichtigsten strukturellen Repräsentationen von 3D-Daten – Punktwolken, Netze, Voxel und 3D-Gauß-Funktionen – sowie ihrer Erfassungspipelines. Anschließend untersuchen wir, wie Datensatzdesign, Benchmark-Konstruktion und Aufsichtsregime die jüngsten Fortschritte prägen, darunter 2D-überwachtes 3D-Lernen, implizite neuronale Repräsentationen und 4D-Weltmodellierung. Durch diese integrative Betrachtungsweise klären wir die Beziehungen zwischen Repräsentationen, Lernparadigmen und nachgelagerten Aufgaben bei der Rekonstruktion, Generierung und Videomodellierung und bieten eine konsolidierte Sicht auf aufkommende Trends zur Balance zwischen Effizienz und Genauigkeit sowie zur multimodalen geometrischen Verankerung.

English

3D vision has rapidly evolved, driven by increasingly diverse data representations, learning paradigms, and modeling strategies. Yet the field remains fragmented across representations and benchmarks, making it difficult to develop unified perspectives on efficiency, fidelity, and scalability. This work provides a data-centric taxonomy of 3D vision that connects geometric representations, datasets, learning frameworks, and applications within a single conceptual map. We begin by analysing the principal structural representations of 3D data--point clouds, meshes, voxels, and 3D Gaussians--along with their acquisition pipelines. We then examine how dataset design, benchmark construction, and supervision regimes shape recent advances, spanning 2D-supervised 3D learning, implicit neural representations, and 4D world modeling. Through this integrative lens, we clarify the relationships among representations, learning paradigms, and downstream tasks in reconstruction, generation, and video modeling, offering a consolidated view of emerging trends toward balancing efficiency and fidelity and toward multimodal geometric grounding.