Échapper à la caverne de Platon : Vers l'alignement des espaces latents 3D et textuels

Escaping Plato's Cave: Towards the Alignment of 3D and Text Latent Spaces

March 7, 2025

Auteurs: Souhail Hadgi, Luca Moschella, Andrea Santilli, Diego Gomez, Qixing Huang, Emanuele Rodolà, Simone Melzi, Maks Ovsjanikov

cs.AI

Résumé

Des travaux récents ont montré que, lorsqu'ils sont entraînés à grande échelle, les encodeurs uni-modaux de vision 2D et de texte convergent vers des caractéristiques apprises qui partagent des propriétés structurelles remarquables, bien qu'elles proviennent de représentations différentes. Cependant, le rôle des encodeurs 3D par rapport aux autres modalités reste inexploré. De plus, les modèles de fondation 3D existants qui exploitent de grands ensembles de données sont généralement entraînés avec des objectifs d'alignement explicites par rapport à des encodeurs figés provenant d'autres représentations. Dans ce travail, nous étudions la possibilité d'un alignement a posteriori des représentations obtenues à partir d'encodeurs uni-modaux 3D par rapport aux espaces de caractéristiques basés sur le texte. Nous montrons qu'un alignement naïf des caractéristiques après entraînement des encodeurs uni-modaux de texte et 3D donne des performances limitées. Nous nous concentrons ensuite sur l'extraction de sous-espaces des espaces de caractéristiques correspondants et découvrons qu'en projetant les représentations apprises sur des sous-espaces de dimension inférieure bien choisis, la qualité de l'alignement devient significativement plus élevée, conduisant à une amélioration de la précision sur les tâches de correspondance et de recherche. Notre analyse éclaire en outre la nature de ces sous-espaces partagés, qui séparent approximativement les représentations de données sémantiques et géométriques. Dans l'ensemble, notre travail est le premier à établir une base de référence pour l'alignement après entraînement des espaces de caractéristiques uni-modaux 3D et de texte, et met en lumière à la fois les propriétés partagées et uniques des données 3D par rapport aux autres représentations.

English

Recent works have shown that, when trained at scale, uni-modal 2D vision and text encoders converge to learned features that share remarkable structural properties, despite arising from different representations. However, the role of 3D encoders with respect to other modalities remains unexplored. Furthermore, existing 3D foundation models that leverage large datasets are typically trained with explicit alignment objectives with respect to frozen encoders from other representations. In this work, we investigate the possibility of a posteriori alignment of representations obtained from uni-modal 3D encoders compared to text-based feature spaces. We show that naive post-training feature alignment of uni-modal text and 3D encoders results in limited performance. We then focus on extracting subspaces of the corresponding feature spaces and discover that by projecting learned representations onto well-chosen lower-dimensional subspaces the quality of alignment becomes significantly higher, leading to improved accuracy on matching and retrieval tasks. Our analysis further sheds light on the nature of these shared subspaces, which roughly separate between semantic and geometric data representations. Overall, ours is the first work that helps to establish a baseline for post-training alignment of 3D uni-modal and text feature spaces, and helps to highlight both the shared and unique properties of 3D data compared to other representations.