L'équivariance multivue améliore la compréhension de la correspondance 3D avec un ajustement minimal des caractéristiques.

Multiview Equivariance Improves 3D Correspondence Understanding with Minimal Feature Finetuning

November 29, 2024

Auteurs: Yang You, Yixin Li, Congyue Deng, Yue Wang, Leonidas Guibas

cs.AI

Résumé

Les modèles fondamentaux de vision, en particulier la famille ViT, ont révolutionné la compréhension des images en fournissant des caractéristiques sémantiques riches. Cependant, malgré leur succès dans la compréhension en 2D, leurs capacités à appréhender les relations spatiales en 3D restent encore floues. Dans ce travail, nous évaluons et améliorons la conscience en 3D des modèles basés sur ViT. Nous commençons par évaluer systématiquement leur capacité à apprendre des caractéristiques 3D équivariantes, examinant spécifiquement la cohérence des plongements sémantiques à travers différents points de vue. Nos résultats indiquent qu'une meilleure équivariance en 3D conduit à de meilleures performances sur diverses tâches ultérieures, notamment l'estimation de la pose, le suivi et le transfert sémantique. En nous appuyant sur cette observation, nous proposons une stratégie de fine-tuning simple mais efficace basée sur des correspondances 3D, qui améliore significativement la compréhension des correspondances 3D des modèles de vision existants. Remarquablement, même un fine-tuning sur un seul objet pour une seule itération entraîne des gains de performance substantiels. Tout le code et les ressources seront rendus publiquement disponibles pour soutenir de nouvelles avancées dans les modèles de vision conscients en 3D. Notre code est disponible sur https://github.com/qq456cvb/3DCorrEnhance.

English

Vision foundation models, particularly the ViT family, have revolutionized image understanding by providing rich semantic features. However, despite their success in 2D comprehension, their abilities on grasping 3D spatial relationships are still unclear. In this work, we evaluate and enhance the 3D awareness of ViT-based models. We begin by systematically assessing their ability to learn 3D equivariant features, specifically examining the consistency of semantic embeddings across different viewpoints. Our findings indicate that improved 3D equivariance leads to better performance on various downstream tasks, including pose estimation, tracking, and semantic transfer. Building on this insight, we propose a simple yet effective finetuning strategy based on 3D correspondences, which significantly enhances the 3D correspondence understanding of existing vision models. Remarkably, even finetuning on a single object for just one iteration results in substantial performance gains. All code and resources will be made publicly available to support further advancements in 3D-aware vision models. Our code is available at https://github.com/qq456cvb/3DCorrEnhance.