プラトンの洞窟からの脱出：3Dとテキストの潜在空間のアラインメントに向けて

Escaping Plato's Cave: Towards the Alignment of 3D and Text Latent Spaces

March 7, 2025

著者: Souhail Hadgi, Luca Moschella, Andrea Santilli, Diego Gomez, Qixing Huang, Emanuele Rodolà, Simone Melzi, Maks Ovsjanikov

cs.AI

要旨

近年の研究では、大規模に訓練された単一モダリティの2D視覚およびテキストエンコーダが、異なる表現から生じているにもかかわらず、驚くほど類似した構造的特性を持つ特徴量を学習することが示されています。しかし、3Dエンコーダが他のモダリティとどのような関係にあるかは未だ解明されていません。さらに、大規模データセットを活用する既存の3D基盤モデルは、通常、他の表現の凍結されたエンコーダとの明示的なアライメント目的で訓練されています。本研究では、単一モダリティの3Dエンコーダから得られた表現とテキストベースの特徴空間との事後的なアライメントの可能性を探ります。単純な事後訓練によるテキストと3Dエンコーダの特徴アライメントでは限定的な性能しか得られないことを示し、次に、対応する特徴空間の部分空間を抽出することに焦点を当てます。学習された表現を適切に選択された低次元部分空間に投影することで、アライメントの品質が大幅に向上し、マッチングおよび検索タスクの精度が向上することを発見しました。我々の分析はさらに、これらの共有部分空間の性質に光を当て、それらがおおむね意味的および幾何学的データ表現を分離していることを明らかにします。全体として、本研究は、3D単一モダリティとテキスト特徴空間の事後訓練アライメントのベースラインを確立する最初の研究であり、3Dデータが他の表現と比較して持つ共有および独自の特性を強調するのに役立ちます。

English

Recent works have shown that, when trained at scale, uni-modal 2D vision and text encoders converge to learned features that share remarkable structural properties, despite arising from different representations. However, the role of 3D encoders with respect to other modalities remains unexplored. Furthermore, existing 3D foundation models that leverage large datasets are typically trained with explicit alignment objectives with respect to frozen encoders from other representations. In this work, we investigate the possibility of a posteriori alignment of representations obtained from uni-modal 3D encoders compared to text-based feature spaces. We show that naive post-training feature alignment of uni-modal text and 3D encoders results in limited performance. We then focus on extracting subspaces of the corresponding feature spaces and discover that by projecting learned representations onto well-chosen lower-dimensional subspaces the quality of alignment becomes significantly higher, leading to improved accuracy on matching and retrieval tasks. Our analysis further sheds light on the nature of these shared subspaces, which roughly separate between semantic and geometric data representations. Overall, ours is the first work that helps to establish a baseline for post-training alignment of 3D uni-modal and text feature spaces, and helps to highlight both the shared and unique properties of 3D data compared to other representations.