UniPre3D: Einheitliches Pre-Training von 3D-Punktwolkenmodellen mit Cross-Modalem Gaussian Splatting

UniPre3D: Unified Pre-training of 3D Point Cloud Models with Cross-Modal Gaussian Splatting

June 11, 2025

Autoren: Ziyi Wang, Yanran Zhang, Jie Zhou, Jiwen Lu

cs.AI

Zusammenfassung

Die Skalenvielfalt von Punktwolkendaten stellt erhebliche Herausforderungen bei der Entwicklung einheitlicher Repräsentationslernverfahren für die 3D-Vision dar. Derzeit gibt es nur wenige einheitliche 3D-Modelle, und keine bestehende Vorverarbeitungsmethode ist gleichermaßen effektiv für sowohl Objekt- als auch Szenenebenen-Punktwolken. In diesem Artikel stellen wir UniPre3D vor, die erste einheitliche Vorverarbeitungsmethode, die nahtlos auf Punktwolken jeglicher Skala und 3D-Modelle jeglicher Architektur angewendet werden kann. Unser Ansatz sagt Gaußsche Primitiven als Vorverarbeitungsaufgabe voraus und verwendet differenzierbares Gaußsches Splatting zur Bilddarstellung, wodurch präzise pixelgenaue Überwachung und end-to-end-Optimierung ermöglicht wird. Um die Komplexität der Vorverarbeitungsaufgabe weiter zu regulieren und den Fokus des Modells auf geometrische Strukturen zu lenken, integrieren wir 2D-Features aus vortrainierten Bildmodellen, um etabliertes Texturwissen einzubeziehen. Wir validieren die universelle Wirksamkeit unserer vorgeschlagenen Methode durch umfangreiche Experimente über eine Vielzahl von Objekt- und Szenenebenen-Aufgaben unter Verwendung verschiedener Punktwolkenmodelle als Backbones. Der Code ist verfügbar unter https://github.com/wangzy22/UniPre3D.

English

The scale diversity of point cloud data presents significant challenges in developing unified representation learning techniques for 3D vision. Currently, there are few unified 3D models, and no existing pre-training method is equally effective for both object- and scene-level point clouds. In this paper, we introduce UniPre3D, the first unified pre-training method that can be seamlessly applied to point clouds of any scale and 3D models of any architecture. Our approach predicts Gaussian primitives as the pre-training task and employs differentiable Gaussian splatting to render images, enabling precise pixel-level supervision and end-to-end optimization. To further regulate the complexity of the pre-training task and direct the model's focus toward geometric structures, we integrate 2D features from pre-trained image models to incorporate well-established texture knowledge. We validate the universal effectiveness of our proposed method through extensive experiments across a variety of object- and scene-level tasks, using diverse point cloud models as backbones. Code is available at https://github.com/wangzy22/UniPre3D.