UniPre3D: Pre-addestramento Unificato di Modelli per Nuvole di Punti 3D con Splatting Gaussiano Cross-Modale

UniPre3D: Unified Pre-training of 3D Point Cloud Models with Cross-Modal Gaussian Splatting

June 11, 2025

Autori: Ziyi Wang, Yanran Zhang, Jie Zhou, Jiwen Lu

cs.AI

Abstract

La diversità di scala dei dati di point cloud presenta sfide significative nello sviluppo di tecniche unificate di apprendimento di rappresentazione per la visione 3D. Attualmente, esistono pochi modelli 3D unificati, e nessun metodo di pre-training esistente è ugualmente efficace sia per point cloud a livello di oggetto che di scena. In questo articolo, introduciamo UniPre3D, il primo metodo di pre-training unificato che può essere applicato senza soluzione di continuità a point cloud di qualsiasi scala e a modelli 3D di qualsiasi architettura. Il nostro approccio prevede la previsione di primitive gaussiane come compito di pre-training e utilizza il rendering differenziabile tramite splatting gaussiano per generare immagini, consentendo una supervisione precisa a livello di pixel e un'ottimizzazione end-to-end. Per regolare ulteriormente la complessità del compito di pre-training e indirizzare l'attenzione del modello verso le strutture geometriche, integriamo caratteristiche 2D da modelli di immagini pre-addestrati per incorporare conoscenze consolidate sulle texture. Validiamo l'efficacia universale del metodo proposto attraverso esperimenti estesi su una varietà di compiti a livello di oggetto e di scena, utilizzando diversi modelli di point cloud come backbone. Il codice è disponibile all'indirizzo https://github.com/wangzy22/UniPre3D.

English

The scale diversity of point cloud data presents significant challenges in developing unified representation learning techniques for 3D vision. Currently, there are few unified 3D models, and no existing pre-training method is equally effective for both object- and scene-level point clouds. In this paper, we introduce UniPre3D, the first unified pre-training method that can be seamlessly applied to point clouds of any scale and 3D models of any architecture. Our approach predicts Gaussian primitives as the pre-training task and employs differentiable Gaussian splatting to render images, enabling precise pixel-level supervision and end-to-end optimization. To further regulate the complexity of the pre-training task and direct the model's focus toward geometric structures, we integrate 2D features from pre-trained image models to incorporate well-established texture knowledge. We validate the universal effectiveness of our proposed method through extensive experiments across a variety of object- and scene-level tasks, using diverse point cloud models as backbones. Code is available at https://github.com/wangzy22/UniPre3D.