UniPre3D: Pre-entrenamiento Unificado de Modelos de Nubes de Puntos 3D con Dispersión Gaussiana Multimodal

UniPre3D: Unified Pre-training of 3D Point Cloud Models with Cross-Modal Gaussian Splatting

June 11, 2025

Autores: Ziyi Wang, Yanran Zhang, Jie Zhou, Jiwen Lu

cs.AI

Resumen

La diversidad de escalas en los datos de nubes de puntos presenta desafíos significativos en el desarrollo de técnicas unificadas de aprendizaje de representaciones para la visión 3D. Actualmente, existen pocos modelos 3D unificados, y ningún método de preentrenamiento existente es igualmente efectivo tanto para nubes de puntos a nivel de objetos como de escenas. En este artículo, presentamos UniPre3D, el primer método de preentrenamiento unificado que puede aplicarse de manera fluida a nubes de puntos de cualquier escala y a modelos 3D de cualquier arquitectura. Nuestro enfoque predice primitivas gaussianas como tarea de preentrenamiento y emplea el trazado de splines gaussianos diferenciables para renderizar imágenes, permitiendo una supervisión precisa a nivel de píxeles y una optimización de extremo a extremo. Para regular aún más la complejidad de la tarea de preentrenamiento y dirigir el enfoque del modelo hacia estructuras geométricas, integramos características 2D de modelos de imágenes preentrenados para incorporar conocimientos bien establecidos sobre texturas. Validamos la efectividad universal de nuestro método propuesto a través de experimentos exhaustivos en una variedad de tareas a nivel de objetos y escenas, utilizando diversos modelos de nubes de puntos como bases. El código está disponible en https://github.com/wangzy22/UniPre3D.

English

The scale diversity of point cloud data presents significant challenges in developing unified representation learning techniques for 3D vision. Currently, there are few unified 3D models, and no existing pre-training method is equally effective for both object- and scene-level point clouds. In this paper, we introduce UniPre3D, the first unified pre-training method that can be seamlessly applied to point clouds of any scale and 3D models of any architecture. Our approach predicts Gaussian primitives as the pre-training task and employs differentiable Gaussian splatting to render images, enabling precise pixel-level supervision and end-to-end optimization. To further regulate the complexity of the pre-training task and direct the model's focus toward geometric structures, we integrate 2D features from pre-trained image models to incorporate well-established texture knowledge. We validate the universal effectiveness of our proposed method through extensive experiments across a variety of object- and scene-level tasks, using diverse point cloud models as backbones. Code is available at https://github.com/wangzy22/UniPre3D.