Ontsnappen uit Plato's grot: Naar de afstemming van 3D- en tekstlatente ruimten

Escaping Plato's Cave: Towards the Alignment of 3D and Text Latent Spaces

March 7, 2025

Auteurs: Souhail Hadgi, Luca Moschella, Andrea Santilli, Diego Gomez, Qixing Huang, Emanuele Rodolà, Simone Melzi, Maks Ovsjanikov

cs.AI

Samenvatting

Recente studies hebben aangetoond dat, wanneer ze op grote schaal worden getraind, uni-modale 2D-visie- en tekstencoders convergeren naar geleerde kenmerken die opmerkelijke structurele eigenschappen delen, ondanks dat ze voortkomen uit verschillende representaties. De rol van 3D-encoders ten opzichte van andere modaliteiten blijft echter onontgonnen. Bovendien worden bestaande 3D-foundationmodellen die gebruikmaken van grote datasets doorgaans getraind met expliciete uitlijningsdoelstellingen ten opzichte van bevroren encoders van andere representaties. In dit werk onderzoeken we de mogelijkheid van a posteriori-uitlijning van representaties die zijn verkregen uit uni-modale 3D-encoders in vergelijking met tekstgebaseerde kenmerkruimten. We laten zien dat naïeve uitlijning van kenmerken na de training van uni-modale tekst- en 3D-encoders resulteert in beperkte prestaties. Vervolgens richten we ons op het extraheren van deelruimten van de corresponderende kenmerkruimten en ontdekken we dat door geleerde representaties te projecteren op goed gekozen lagere-dimensionale deelruimten de kwaliteit van de uitlijning aanzienlijk hoger wordt, wat leidt tot verbeterde nauwkeurigheid bij matching- en retrievalthandelingen. Onze analyse werpt verder licht op de aard van deze gedeelde deelruimten, die ruwweg een scheiding maken tussen semantische en geometrische datarepresentaties. Over het geheel genomen is ons werk het eerste dat helpt bij het vaststellen van een basislijn voor uitlijning na de training van uni-modale 3D- en tekstkenmerkruimten, en dat helpt bij het benadrukken van zowel de gedeelde als de unieke eigenschappen van 3D-data in vergelijking met andere representaties.

English

Recent works have shown that, when trained at scale, uni-modal 2D vision and text encoders converge to learned features that share remarkable structural properties, despite arising from different representations. However, the role of 3D encoders with respect to other modalities remains unexplored. Furthermore, existing 3D foundation models that leverage large datasets are typically trained with explicit alignment objectives with respect to frozen encoders from other representations. In this work, we investigate the possibility of a posteriori alignment of representations obtained from uni-modal 3D encoders compared to text-based feature spaces. We show that naive post-training feature alignment of uni-modal text and 3D encoders results in limited performance. We then focus on extracting subspaces of the corresponding feature spaces and discover that by projecting learned representations onto well-chosen lower-dimensional subspaces the quality of alignment becomes significantly higher, leading to improved accuracy on matching and retrieval tasks. Our analysis further sheds light on the nature of these shared subspaces, which roughly separate between semantic and geometric data representations. Overall, ours is the first work that helps to establish a baseline for post-training alignment of 3D uni-modal and text feature spaces, and helps to highlight both the shared and unique properties of 3D data compared to other representations.