Escapando da Caverna de Platão: Rumo ao Alinhamento dos Espaços Latentes 3D e de Texto

Escaping Plato's Cave: Towards the Alignment of 3D and Text Latent Spaces

March 7, 2025

Autores: Souhail Hadgi, Luca Moschella, Andrea Santilli, Diego Gomez, Qixing Huang, Emanuele Rodolà, Simone Melzi, Maks Ovsjanikov

cs.AI

Resumo

Trabalhos recentes demonstraram que, quando treinados em escala, codificadores uni-modais de visão 2D e texto convergem para características aprendidas que compartilham propriedades estruturais notáveis, apesar de surgirem de representações diferentes. No entanto, o papel dos codificadores 3D em relação a outras modalidades permanece inexplorado. Além disso, os modelos de base 3D existentes que aproveitam grandes conjuntos de dados são tipicamente treinados com objetivos explícitos de alinhamento em relação a codificadores congelados de outras representações. Neste trabalho, investigamos a possibilidade de alinhamento a posteriori de representações obtidas de codificadores uni-modais 3D em comparação com espaços de características baseados em texto. Mostramos que o alinhamento ingênuo de características pós-treinamento de codificadores uni-modais de texto e 3D resulta em desempenho limitado. Em seguida, focamos na extração de subespaços dos espaços de características correspondentes e descobrimos que, ao projetar as representações aprendidas em subespaços de menor dimensão bem escolhidos, a qualidade do alinhamento se torna significativamente maior, levando a uma precisão aprimorada em tarefas de correspondência e recuperação. Nossa análise ainda lança luz sobre a natureza desses subespaços compartilhados, que separam aproximadamente entre representações de dados semânticos e geométricos. No geral, o nosso é o primeiro trabalho que ajuda a estabelecer uma linha de base para o alinhamento pós-treinamento de espaços de características uni-modais 3D e de texto, e ajuda a destacar tanto as propriedades compartilhadas quanto as únicas dos dados 3D em comparação com outras representações.

English

Recent works have shown that, when trained at scale, uni-modal 2D vision and text encoders converge to learned features that share remarkable structural properties, despite arising from different representations. However, the role of 3D encoders with respect to other modalities remains unexplored. Furthermore, existing 3D foundation models that leverage large datasets are typically trained with explicit alignment objectives with respect to frozen encoders from other representations. In this work, we investigate the possibility of a posteriori alignment of representations obtained from uni-modal 3D encoders compared to text-based feature spaces. We show that naive post-training feature alignment of uni-modal text and 3D encoders results in limited performance. We then focus on extracting subspaces of the corresponding feature spaces and discover that by projecting learned representations onto well-chosen lower-dimensional subspaces the quality of alignment becomes significantly higher, leading to improved accuracy on matching and retrieval tasks. Our analysis further sheds light on the nature of these shared subspaces, which roughly separate between semantic and geometric data representations. Overall, ours is the first work that helps to establish a baseline for post-training alignment of 3D uni-modal and text feature spaces, and helps to highlight both the shared and unique properties of 3D data compared to other representations.