Сборник рецептов 3D-зрения: данные, парадигмы обучения и применение

Аннотация

Трехмерное зрение стремительно развивается благодаря все более разнообразным представлениям данных, парадигмам обучения и стратегиям моделирования. Однако эта область остается фрагментированной с точки зрения представлений и эталонных тестов, что затрудняет выработку единых взглядов на эффективность, точность и масштабируемость. Данная работа предлагает таксономию трехмерного зрения, ориентированную на данные, которая связывает геометрические представления, наборы данных, обучающие фреймворки и приложения в рамках единой концептуальной карты. Мы начинаем с анализа основных структурных представлений 3D-данных — облаков точек, сеток, вокселей и 3D-гауссиан, — а также конвейеров их получения. Затем мы рассматриваем, как проектирование наборов данных, построение эталонных тестов и режимы обучения с учителем определяют последние достижения, включая 3D-обучение под надзором 2D-данных, неявные нейронные представления и 4D-моделирование мира. С помощью этого интегративного подхода мы проясняем взаимосвязи между представлениями, парадигмами обучения и прикладными задачами в реконструкции, генерации и моделировании видео, предлагая консолидированный взгляд на emerging trends в направлении баланса между эффективностью и точностью, а также мультимодального геометрического обоснования.

English

3D vision has rapidly evolved, driven by increasingly diverse data representations, learning paradigms, and modeling strategies. Yet the field remains fragmented across representations and benchmarks, making it difficult to develop unified perspectives on efficiency, fidelity, and scalability. This work provides a data-centric taxonomy of 3D vision that connects geometric representations, datasets, learning frameworks, and applications within a single conceptual map. We begin by analysing the principal structural representations of 3D data--point clouds, meshes, voxels, and 3D Gaussians--along with their acquisition pipelines. We then examine how dataset design, benchmark construction, and supervision regimes shape recent advances, spanning 2D-supervised 3D learning, implicit neural representations, and 4D world modeling. Through this integrative lens, we clarify the relationships among representations, learning paradigms, and downstream tasks in reconstruction, generation, and video modeling, offering a consolidated view of emerging trends toward balancing efficiency and fidelity and toward multimodal geometric grounding.