더 다양하고 도전적인 포인트 클라우드 학습을 위한 사전 학습: 분리된 뷰를 활용한 자기 지도식 교차 재구성

Towards More Diverse and Challenging Pre-training for Point Cloud Learning: Self-Supervised Cross Reconstruction with Decoupled Views

September 1, 2025

저자: Xiangdong Zhang, Shaofeng Zhang, Junchi Yan

cs.AI

초록

점군 학습(point cloud learning), 특히 수동 레이블 없이 자기 지도 방식으로 수행되는 학습은 다양한 응용 분야에서의 잠재적 유용성으로 인해 컴퓨터 비전 및 학습 커뮤니티에서 점점 더 많은 관심을 받고 있습니다. 기존의 점군 자기 지도 학습을 위한 생성적 접근법 대부분은 단일 뷰 내에서 가려진 점들을 복원하는 데 초점을 맞추고 있습니다. 두 개의 뷰를 사용한 사전 학습 패러다임이 본질적으로 더 큰 다양성과 변동성을 도입할 수 있다는 점을 인식함으로써, 이는 더 도전적이고 유익한 사전 학습을 가능하게 할 수 있습니다. 이에 영감을 받아, 우리는 이 분야에서 두 개의 뷰를 사용한 학습의 잠재력을 탐구합니다. 본 논문에서는 두 개의 분리된 점군/뷰를 먼저 생성한 다음, 하나를 다른 하나로부터 재구성하는 교차 재구성(cross-reconstruction) 생성 패러다임인 Point-PQAE를 제안합니다. 이를 위해, 우리는 점군 뷰 생성을 위한 크롭(crop) 메커니즘을 처음으로 개발하고, 두 분리된 뷰 간의 3D 상대 위치를 나타내기 위한 새로운 위치 인코딩을 제안합니다. 교차 재구성은 자기 재구성(self-reconstruction)에 비해 사전 학습의 난이도를 크게 증가시켜, 우리의 방법이 3D 자기 지도 학습에서 기존의 단일 모달 자기 재구성 방법들을 능가할 수 있게 합니다. 구체적으로, Mlp-Linear 평가 프로토콜을 사용한 ScanObjectNN의 세 가지 변형에서 자기 재구성 베이스라인(Point-MAE)보다 각각 6.5%, 7.0%, 6.7% 더 우수한 성능을 보입니다. 코드는 https://github.com/aHapBean/Point-PQAE에서 확인할 수 있습니다.

English

Point cloud learning, especially in a self-supervised way without manual labels, has gained growing attention in both vision and learning communities due to its potential utility in a wide range of applications. Most existing generative approaches for point cloud self-supervised learning focus on recovering masked points from visible ones within a single view. Recognizing that a two-view pre-training paradigm inherently introduces greater diversity and variance, it may thus enable more challenging and informative pre-training. Inspired by this, we explore the potential of two-view learning in this domain. In this paper, we propose Point-PQAE, a cross-reconstruction generative paradigm that first generates two decoupled point clouds/views and then reconstructs one from the other. To achieve this goal, we develop a crop mechanism for point cloud view generation for the first time and further propose a novel positional encoding to represent the 3D relative position between the two decoupled views. The cross-reconstruction significantly increases the difficulty of pre-training compared to self-reconstruction, which enables our method to surpass previous single-modal self-reconstruction methods in 3D self-supervised learning. Specifically, it outperforms the self-reconstruction baseline (Point-MAE) by 6.5%, 7.0%, and 6.7% in three variants of ScanObjectNN with the Mlp-Linear evaluation protocol. The code is available at https://github.com/aHapBean/Point-PQAE.