UniPre3D: Pré-treinamento Unificado de Modelos de Nuvem de Pontos 3D com Splatting Gaussiano Multimodal

UniPre3D: Unified Pre-training of 3D Point Cloud Models with Cross-Modal Gaussian Splatting

June 11, 2025

Autores: Ziyi Wang, Yanran Zhang, Jie Zhou, Jiwen Lu

cs.AI

Resumo

A diversidade de escalas dos dados de nuvem de pontos apresenta desafios significativos no desenvolvimento de técnicas unificadas de aprendizado de representação para visão 3D. Atualmente, existem poucos modelos 3D unificados, e nenhum método de pré-treinamento existente é igualmente eficaz para nuvens de pontos em nível de objeto e de cena. Neste artigo, introduzimos o UniPre3D, o primeiro método de pré-treinamento unificado que pode ser aplicado de forma contínua a nuvens de pontos de qualquer escala e a modelos 3D de qualquer arquitetura. Nossa abordagem prevê primitivas Gaussianas como tarefa de pré-treinamento e empreende o splatting Gaussiano diferenciável para renderizar imagens, permitindo supervisão precisa em nível de pixel e otimização de ponta a ponta. Para regular ainda mais a complexidade da tarefa de pré-treinamento e direcionar o foco do modelo para estruturas geométricas, integramos características 2D de modelos de imagem pré-treinados para incorporar conhecimentos bem estabelecidos sobre texturas. Validamos a eficácia universal do método proposto por meio de extensos experimentos em uma variedade de tarefas em nível de objeto e de cena, utilizando diversos modelos de nuvem de pontos como backbones. O código está disponível em https://github.com/wangzy22/UniPre3D.

English

The scale diversity of point cloud data presents significant challenges in developing unified representation learning techniques for 3D vision. Currently, there are few unified 3D models, and no existing pre-training method is equally effective for both object- and scene-level point clouds. In this paper, we introduce UniPre3D, the first unified pre-training method that can be seamlessly applied to point clouds of any scale and 3D models of any architecture. Our approach predicts Gaussian primitives as the pre-training task and employs differentiable Gaussian splatting to render images, enabling precise pixel-level supervision and end-to-end optimization. To further regulate the complexity of the pre-training task and direct the model's focus toward geometric structures, we integrate 2D features from pre-trained image models to incorporate well-established texture knowledge. We validate the universal effectiveness of our proposed method through extensive experiments across a variety of object- and scene-level tasks, using diverse point cloud models as backbones. Code is available at https://github.com/wangzy22/UniPre3D.