Выход из пещеры Платона: к согласованию латентных пространств 3D и текста

Escaping Plato's Cave: Towards the Alignment of 3D and Text Latent Spaces

March 7, 2025

Авторы: Souhail Hadgi, Luca Moschella, Andrea Santilli, Diego Gomez, Qixing Huang, Emanuele Rodolà, Simone Melzi, Maks Ovsjanikov

cs.AI

Аннотация

Недавние исследования показали, что при обучении в больших масштабах унимодальные 2D-визуальные и текстовые энкодеры сходятся к изученным признакам, которые демонстрируют удивительные структурные сходства, несмотря на различия в исходных представлениях. Однако роль 3D-энкодеров по отношению к другим модальностям остается неисследованной. Более того, существующие базовые модели для 3D, использующие большие наборы данных, обычно обучаются с явными целями согласования относительно замороженных энкодеров из других представлений. В данной работе мы исследуем возможность апостериорного согласования представлений, полученных из унимодальных 3D-энкодеров, с текстовыми пространствами признаков. Мы показываем, что наивное согласование признаков унимодальных текстовых и 3D-энкодеров после обучения приводит к ограниченной производительности. Затем мы сосредотачиваемся на извлечении подпространств соответствующих пространств признаков и обнаруживаем, что проекция изученных представлений на хорошо выбранные низкоразмерные подпространства значительно повышает качество согласования, что приводит к улучшению точности в задачах сопоставления и поиска. Наш анализ также проливает свет на природу этих общих подпространств, которые примерно разделяют семантические и геометрические представления данных. В целом, наша работа является первой, которая помогает установить базовый уровень для апостериорного согласования унимодальных 3D и текстовых пространств признаков, а также подчеркивает как общие, так и уникальные свойства 3D-данных по сравнению с другими представлениями.

English

Recent works have shown that, when trained at scale, uni-modal 2D vision and text encoders converge to learned features that share remarkable structural properties, despite arising from different representations. However, the role of 3D encoders with respect to other modalities remains unexplored. Furthermore, existing 3D foundation models that leverage large datasets are typically trained with explicit alignment objectives with respect to frozen encoders from other representations. In this work, we investigate the possibility of a posteriori alignment of representations obtained from uni-modal 3D encoders compared to text-based feature spaces. We show that naive post-training feature alignment of uni-modal text and 3D encoders results in limited performance. We then focus on extracting subspaces of the corresponding feature spaces and discover that by projecting learned representations onto well-chosen lower-dimensional subspaces the quality of alignment becomes significantly higher, leading to improved accuracy on matching and retrieval tasks. Our analysis further sheds light on the nature of these shared subspaces, which roughly separate between semantic and geometric data representations. Overall, ours is the first work that helps to establish a baseline for post-training alignment of 3D uni-modal and text feature spaces, and helps to highlight both the shared and unique properties of 3D data compared to other representations.