Het verbeteren van 2D-functieweergaven door 3D-bewuste fine-tuning

Improving 2D Feature Representations by 3D-Aware Fine-Tuning

July 29, 2024

Auteurs: Yuanwen Yue, Anurag Das, Francis Engelmann, Siyu Tang, Jan Eric Lenssen

cs.AI

Samenvatting

Huidige visuele basis-modellen worden uitsluitend getraind op ongestructureerde 2D-data, wat hun begrip van de 3D-structuur van objecten en scènes beperkt. In dit werk tonen we aan dat fine-tuning op 3D-bewuste data de kwaliteit van opkomende semantische kenmerken verbetert. We ontwerpen een methode om semantische 2D-kenmerken om te zetten in een efficiënte 3D Gaussische representatie, wat ons in staat stelt ze opnieuw te renderen voor willekeurige gezichtspunten. Met behulp van de gerenderde 3D-bewuste kenmerken ontwikkelen we een fine-tuning strategie om dergelijk 3D-bewustzijn over te dragen naar een 2D basis-model. We demonstreren dat modellen die op deze manier zijn gefinetuned, kenmerken produceren die de prestaties van downstream taken zoals semantische segmentatie en diepteschatting aanzienlijk verbeteren via eenvoudige lineaire probing. Opmerkelijk is dat, hoewel gefinetuned op een enkele indoor dataset, de verbetering overdraagbaar is naar een verscheidenheid aan indoor datasets en out-of-domain datasets. We hopen dat onze studie de gemeenschap aanmoedigt om 3D-bewustzijn te overwegen bij het trainen van 2D basis-modellen. Projectpagina: https://ywyue.github.io/FiT3D.

English

Current visual foundation models are trained purely on unstructured 2D data, limiting their understanding of 3D structure of objects and scenes. In this work, we show that fine-tuning on 3D-aware data improves the quality of emerging semantic features. We design a method to lift semantic 2D features into an efficient 3D Gaussian representation, which allows us to re-render them for arbitrary views. Using the rendered 3D-aware features, we design a fine-tuning strategy to transfer such 3D awareness into a 2D foundation model. We demonstrate that models fine-tuned in that way produce features that readily improve downstream task performance in semantic segmentation and depth estimation through simple linear probing. Notably, though fined-tuned on a single indoor dataset, the improvement is transferable to a variety of indoor datasets and out-of-domain datasets. We hope our study encourages the community to consider injecting 3D awareness when training 2D foundation models. Project page: https://ywyue.github.io/FiT3D.