Fuggire dalla Caverna di Platone: Verso l'Allineamento degli Spazi Latenti 3D e Testuali

Escaping Plato's Cave: Towards the Alignment of 3D and Text Latent Spaces

March 7, 2025

Autori: Souhail Hadgi, Luca Moschella, Andrea Santilli, Diego Gomez, Qixing Huang, Emanuele Rodolà, Simone Melzi, Maks Ovsjanikov

cs.AI

Abstract

Recenti lavori hanno dimostrato che, quando addestrati su larga scala, gli encoder uni-modali per la visione 2D e il testo convergono verso feature apprese che condividono proprietà strutturali notevoli, nonostante derivino da rappresentazioni diverse. Tuttavia, il ruolo degli encoder 3D rispetto ad altre modalità rimane inesplorato. Inoltre, i modelli di fondazione 3D esistenti che sfruttano grandi dataset sono tipicamente addestrati con obiettivi di allineamento espliciti rispetto a encoder congelati di altre rappresentazioni. In questo lavoro, investigiamo la possibilità di un allineamento a posteriori delle rappresentazioni ottenute da encoder uni-modali 3D rispetto a spazi di feature basati su testo. Mostriamo che un allineamento ingenuo post-addestramento delle feature di encoder uni-modali per testo e 3D produce prestazioni limitate. Ci concentriamo quindi sull'estrazione di sottospazi dei corrispondenti spazi di feature e scopriamo che proiettando le rappresentazioni apprese su sottospazi a dimensione inferiore ben scelti, la qualità dell'allineamento diventa significativamente più alta, portando a una maggiore accuratezza in compiti di matching e retrieval. La nostra analisi getta ulteriore luce sulla natura di questi sottospazi condivisi, che separano approssimativamente tra rappresentazioni semantiche e geometriche dei dati. Nel complesso, il nostro è il primo lavoro che aiuta a stabilire una baseline per l'allineamento post-addestramento di spazi di feature uni-modali 3D e basati su testo, e contribuisce a evidenziare sia le proprietà condivise che quelle uniche dei dati 3D rispetto ad altre rappresentazioni.

English

Recent works have shown that, when trained at scale, uni-modal 2D vision and text encoders converge to learned features that share remarkable structural properties, despite arising from different representations. However, the role of 3D encoders with respect to other modalities remains unexplored. Furthermore, existing 3D foundation models that leverage large datasets are typically trained with explicit alignment objectives with respect to frozen encoders from other representations. In this work, we investigate the possibility of a posteriori alignment of representations obtained from uni-modal 3D encoders compared to text-based feature spaces. We show that naive post-training feature alignment of uni-modal text and 3D encoders results in limited performance. We then focus on extracting subspaces of the corresponding feature spaces and discover that by projecting learned representations onto well-chosen lower-dimensional subspaces the quality of alignment becomes significantly higher, leading to improved accuracy on matching and retrieval tasks. Our analysis further sheds light on the nature of these shared subspaces, which roughly separate between semantic and geometric data representations. Overall, ours is the first work that helps to establish a baseline for post-training alignment of 3D uni-modal and text feature spaces, and helps to highlight both the shared and unique properties of 3D data compared to other representations.