Miglioramento delle rappresentazioni di feature 2D tramite fine-tuning consapevole della 3D

Improving 2D Feature Representations by 3D-Aware Fine-Tuning

July 29, 2024

Autori: Yuanwen Yue, Anurag Das, Francis Engelmann, Siyu Tang, Jan Eric Lenssen

cs.AI

Abstract

I modelli visivi di base attuali vengono addestrati esclusivamente su dati 2D non strutturati, limitando la loro comprensione della struttura 3D di oggetti e scene. In questo lavoro, dimostriamo che il fine-tuning su dati consapevoli della tridimensionalità migliora la qualità delle caratteristiche semantiche emergenti. Progettiamo un metodo per elevare le caratteristiche semantiche 2D in una rappresentazione efficiente basata su Gaussiane 3D, che ci consente di ri-renderizzarle per visualizzazioni arbitrarie. Utilizzando le caratteristiche renderizzate con consapevolezza 3D, progettiamo una strategia di fine-tuning per trasferire tale consapevolezza tridimensionale in un modello di base 2D. Dimostriamo che i modelli sottoposti a fine-tuning in questo modo producono caratteristiche che migliorano facilmente le prestazioni in compiti downstream come la segmentazione semantica e la stima della profondità attraverso semplici sonde lineari. È degno di nota che, nonostante il fine-tuning sia stato eseguito su un singolo dataset indoor, il miglioramento è trasferibile a una varietà di dataset indoor e a dataset fuori dominio. Speriamo che il nostro studio incoraggi la comunità a considerare l'iniezione di consapevolezza 3D durante l'addestramento di modelli di base 2D. Pagina del progetto: https://ywyue.github.io/FiT3D.

English

Current visual foundation models are trained purely on unstructured 2D data, limiting their understanding of 3D structure of objects and scenes. In this work, we show that fine-tuning on 3D-aware data improves the quality of emerging semantic features. We design a method to lift semantic 2D features into an efficient 3D Gaussian representation, which allows us to re-render them for arbitrary views. Using the rendered 3D-aware features, we design a fine-tuning strategy to transfer such 3D awareness into a 2D foundation model. We demonstrate that models fine-tuned in that way produce features that readily improve downstream task performance in semantic segmentation and depth estimation through simple linear probing. Notably, though fined-tuned on a single indoor dataset, the improvement is transferable to a variety of indoor datasets and out-of-domain datasets. We hope our study encourages the community to consider injecting 3D awareness when training 2D foundation models. Project page: https://ywyue.github.io/FiT3D.