UniPre3D: Geünificeerde Pre-training van 3D Point Cloud-modellen met Cross-Modale Gaussische Splatting

UniPre3D: Unified Pre-training of 3D Point Cloud Models with Cross-Modal Gaussian Splatting

June 11, 2025

Auteurs: Ziyi Wang, Yanran Zhang, Jie Zhou, Jiwen Lu

cs.AI

Samenvatting

De schaaldiversiteit van pointcloud-gegevens vormt aanzienlijke uitdagingen bij het ontwikkelen van geüniformeerde representatietechnieken voor 3D-visie. Momenteel zijn er weinig geüniformeerde 3D-modellen, en geen enkele bestaande voorafgaande trainingsmethode is even effectief voor zowel object- als scèniveau pointclouds. In dit artikel introduceren we UniPre3D, de eerste geüniformeerde voorafgaande trainingsmethode die naadloos kan worden toegepast op pointclouds van elke schaal en 3D-modellen van elke architectuur. Onze aanpak voorspelt Gaussische primitieven als de voorafgaande trainings taak en maakt gebruik van differentieerbare Gaussische splatting om afbeeldingen te renderen, waardoor nauwkeurige pixel-niveau supervisie en end-to-end optimalisatie mogelijk worden. Om de complexiteit van de voorafgaande trainings taak verder te reguleren en de focus van het model op geometrische structuren te richten, integreren we 2D-functies van vooraf getrainde beeldmodellen om goed ingeburgerde textuurkennis op te nemen. We valideren de universele effectiviteit van onze voorgestelde methode door middel van uitgebreide experimenten over een verscheidenheid aan object- en scèniveau taken, waarbij we diverse pointcloud-modellen als backbones gebruiken. Code is beschikbaar op https://github.com/wangzy22/UniPre3D.

English

The scale diversity of point cloud data presents significant challenges in developing unified representation learning techniques for 3D vision. Currently, there are few unified 3D models, and no existing pre-training method is equally effective for both object- and scene-level point clouds. In this paper, we introduce UniPre3D, the first unified pre-training method that can be seamlessly applied to point clouds of any scale and 3D models of any architecture. Our approach predicts Gaussian primitives as the pre-training task and employs differentiable Gaussian splatting to render images, enabling precise pixel-level supervision and end-to-end optimization. To further regulate the complexity of the pre-training task and direct the model's focus toward geometric structures, we integrate 2D features from pre-trained image models to incorporate well-established texture knowledge. We validate the universal effectiveness of our proposed method through extensive experiments across a variety of object- and scene-level tasks, using diverse point cloud models as backbones. Code is available at https://github.com/wangzy22/UniPre3D.