플라톤의 동굴을 벗어나기: 3D와 텍스트 잠재 공간의 정렬을 향하여

Escaping Plato's Cave: Towards the Alignment of 3D and Text Latent Spaces

March 7, 2025

저자: Souhail Hadgi, Luca Moschella, Andrea Santilli, Diego Gomez, Qixing Huang, Emanuele Rodolà, Simone Melzi, Maks Ovsjanikov

cs.AI

초록

최근 연구에 따르면, 대규모로 학습된 단일 모달리티(single-modal) 2D 비전 및 텍스트 인코더는 서로 다른 표현에서 비롯되었음에도 불구하고 놀라울 정도로 유사한 구조적 특성을 공유하는 학습된 특징들로 수렴하는 것으로 나타났습니다. 그러나 3D 인코더가 다른 모달리티와 관련하여 어떤 역할을 하는지는 아직 탐구되지 않았습니다. 더욱이, 대규모 데이터셋을 활용하는 기존의 3D 파운데이션 모델(foundation model)들은 일반적으로 다른 표현의 고정된 인코더와의 명시적 정렬 목표를 통해 학습됩니다. 본 연구에서는 단일 모달리티 3D 인코더에서 얻은 표현과 텍스트 기반 특징 공간 간의 사후 정렬(a posteriori alignment) 가능성을 탐구합니다. 우리는 단일 모달리티 텍스트와 3D 인코더의 단순한 사후 학습 특징 정렬이 제한된 성능을 보인다는 것을 확인했습니다. 이후, 해당 특징 공간의 부분 공간(subspace)을 추출하는 데 초점을 맞추고, 학습된 표현을 잘 선택된 저차원 부분 공간에 투영함으로써 정렬 품질이 크게 향상되어 매칭 및 검색 작업에서 정확도가 개선됨을 발견했습니다. 우리의 분석은 이러한 공유 부분 공간의 본질을 더욱 밝히는데, 이는 대략적으로 의미론적(semantic) 및 기하학적(geometric) 데이터 표현을 분리합니다. 전반적으로, 본 연구는 3D 단일 모달리티와 텍스트 특징 공간의 사후 학습 정렬을 위한 기준을 마련한 첫 번째 작업이며, 3D 데이터가 다른 표현과 비교하여 공유하는 특성과 고유한 특성을 모두 강조하는 데 기여합니다.

English

Recent works have shown that, when trained at scale, uni-modal 2D vision and text encoders converge to learned features that share remarkable structural properties, despite arising from different representations. However, the role of 3D encoders with respect to other modalities remains unexplored. Furthermore, existing 3D foundation models that leverage large datasets are typically trained with explicit alignment objectives with respect to frozen encoders from other representations. In this work, we investigate the possibility of a posteriori alignment of representations obtained from uni-modal 3D encoders compared to text-based feature spaces. We show that naive post-training feature alignment of uni-modal text and 3D encoders results in limited performance. We then focus on extracting subspaces of the corresponding feature spaces and discover that by projecting learned representations onto well-chosen lower-dimensional subspaces the quality of alignment becomes significantly higher, leading to improved accuracy on matching and retrieval tasks. Our analysis further sheds light on the nature of these shared subspaces, which roughly separate between semantic and geometric data representations. Overall, ours is the first work that helps to establish a baseline for post-training alignment of 3D uni-modal and text feature spaces, and helps to highlight both the shared and unique properties of 3D data compared to other representations.