Melhorando Representações de Características 2D por Ajuste Fino Consciente de 3D

Improving 2D Feature Representations by 3D-Aware Fine-Tuning

July 29, 2024

Autores: Yuanwen Yue, Anurag Das, Francis Engelmann, Siyu Tang, Jan Eric Lenssen

cs.AI

Resumo

Os modelos visuais atuais são treinados exclusivamente em dados 2D não estruturados, limitando sua compreensão da estrutura 3D de objetos e cenas. Neste trabalho, demonstramos que o ajuste fino em dados 3D melhora a qualidade das características semânticas emergentes. Projetamos um método para elevar características semânticas 2D em uma representação Gaussiana 3D eficiente, o que nos permite renderizá-las para visualizações arbitrárias. Utilizando as características 3D renderizadas, projetamos uma estratégia de ajuste fino para transferir essa consciência 3D para um modelo de base 2D. Demonstramos que os modelos ajustados dessa maneira produzem características que prontamente melhoram o desempenho de tarefas subsequentes em segmentação semântica e estimativa de profundidade por meio de sondagem linear simples. Notavelmente, embora ajustados em um único conjunto de dados internos, a melhoria é transferível para uma variedade de conjuntos de dados internos e conjuntos de dados fora do domínio. Esperamos que nosso estudo encoraje a comunidade a considerar a injeção de consciência 3D ao treinar modelos de base 2D. Página do projeto: https://ywyue.github.io/FiT3D.

English

Current visual foundation models are trained purely on unstructured 2D data, limiting their understanding of 3D structure of objects and scenes. In this work, we show that fine-tuning on 3D-aware data improves the quality of emerging semantic features. We design a method to lift semantic 2D features into an efficient 3D Gaussian representation, which allows us to re-render them for arbitrary views. Using the rendered 3D-aware features, we design a fine-tuning strategy to transfer such 3D awareness into a 2D foundation model. We demonstrate that models fine-tuned in that way produce features that readily improve downstream task performance in semantic segmentation and depth estimation through simple linear probing. Notably, though fined-tuned on a single indoor dataset, the improvement is transferable to a variety of indoor datasets and out-of-domain datasets. We hope our study encourages the community to consider injecting 3D awareness when training 2D foundation models. Project page: https://ywyue.github.io/FiT3D.