UniPre3D: Унифицированное предварительное обучение моделей 3D облаков точек с кросс-модальным гауссовым сплайнингом

UniPre3D: Unified Pre-training of 3D Point Cloud Models with Cross-Modal Gaussian Splatting

June 11, 2025

Авторы: Ziyi Wang, Yanran Zhang, Jie Zhou, Jiwen Lu

cs.AI

Аннотация

Масштабное разнообразие данных в виде облаков точек представляет значительные трудности для разработки унифицированных методов обучения представлений в 3D-зрении. В настоящее время существует мало унифицированных 3D-моделей, и ни один из существующих методов предварительного обучения не является одинаково эффективным для облаков точек как на уровне объектов, так и на уровне сцен. В данной статье мы представляем UniPre3D — первый унифицированный метод предварительного обучения, который может быть бесшовно применен к облакам точек любого масштаба и 3D-моделям любой архитектуры. Наш подход предсказывает гауссовы примитивы в качестве задачи предварительного обучения и использует дифференцируемое гауссово размытие для рендеринга изображений, что позволяет обеспечить точное пиксельное управление и сквозную оптимизацию. Для дальнейшего регулирования сложности задачи предварительного обучения и направления внимания модели на геометрические структуры мы интегрируем 2D-признаки из предварительно обученных моделей изображений, чтобы включить хорошо установленные знания о текстурах. Мы подтверждаем универсальную эффективность предложенного метода с помощью обширных экспериментов на различных задачах уровня объектов и сцен, используя разнообразные модели облаков точек в качестве основы. Код доступен по адресу https://github.com/wangzy22/UniPre3D.

English

The scale diversity of point cloud data presents significant challenges in developing unified representation learning techniques for 3D vision. Currently, there are few unified 3D models, and no existing pre-training method is equally effective for both object- and scene-level point clouds. In this paper, we introduce UniPre3D, the first unified pre-training method that can be seamlessly applied to point clouds of any scale and 3D models of any architecture. Our approach predicts Gaussian primitives as the pre-training task and employs differentiable Gaussian splatting to render images, enabling precise pixel-level supervision and end-to-end optimization. To further regulate the complexity of the pre-training task and direct the model's focus toward geometric structures, we integrate 2D features from pre-trained image models to incorporate well-established texture knowledge. We validate the universal effectiveness of our proposed method through extensive experiments across a variety of object- and scene-level tasks, using diverse point cloud models as backbones. Code is available at https://github.com/wangzy22/UniPre3D.