DepthLM: Metrische Diepte uit Visueel-Taalmodellen

Samenvatting

Vision language models (VLMs) kunnen flexibel diverse visuele taken aanpakken via tekstinteracties. Hoewel ze succesvol zijn in semantisch begrip, hebben state-of-the-art VLMs, waaronder GPT-5, nog steeds moeite met het begrijpen van 3D vanuit 2D-invoer. Aan de andere kant bereiken expert pure vision models een bovenmenselijke nauwkeurigheid in metrische diepteschatting, een cruciale 3D-begriptaak. Ze vereisen echter taakspecifieke architecturen en verliesfuncties. Dit verschil motiveert ons om de vraag te stellen: Kunnen VLMs expertniveau-nauwkeurigheid bereiken zonder aanpassingen aan de architectuur of verliesfunctie? We nemen per-pixel metrische diepteschatting als de representatieve taak en laten zien dat het antwoord ja is! Verrassend genoeg toont een uitgebreide analyse aan dat tekstgebaseerde supervised-finetuning met spaarzame labels voldoende is voor VLMs om sterk 3D-begrip te ontgrendelen; er is geen dichte voorspellingskop of complexe regressie/regularisatie-verliesfunctie nodig. De bottleneck voor VLMs ligt eigenlijk in pixelreferentie en cross-dataset camera-ambiguïteit, die we aanpakken via visuele prompting en intrinsiek-geconditioneerde augmentatie. Met veel kleinere modellen overtreft onze methode DepthLM de nauwkeurigheid van de meest geavanceerde VLMs met meer dan 2x, waardoor VLMs voor het eerst vergelijkbaar worden met pure vision models. Interessant is dat VLMs getraind met DepthLM, zonder expliciete handhaving tijdens de training, van nature overmatige gladheid vermijden en veel minder zwevende punten hebben in grenszones dan pure vision models. De eenvoud van DepthLM maakt het ook mogelijk dat een enkele VLM diverse 3D-taken kan bestrijken die verder gaan dan metrische diepte. Onze code en model zullen worden vrijgegeven via de onderstaande link.

English

Vision language models (VLMs) can flexibly address various vision tasks through text interactions. Although successful in semantic understanding, state-of-the-art VLMs including GPT-5 still struggle in understanding 3D from 2D inputs. On the other hand, expert pure vision models achieve super-human accuracy in metric depth estimation, a key 3D understanding task. However, they require task-specific architectures and losses. Such difference motivates us to ask: Can VLMs reach expert-level accuracy without architecture or loss change? We take per-pixel metric depth estimation as the representative task and show that the answer is yes! Surprisingly, comprehensive analysis shows that text-based supervised-finetuning with sparse labels is sufficient for VLMs to unlock strong 3D understanding, no dense prediction head or complex regression/regularization loss is needed. The bottleneck for VLMs lies actually in pixel reference and cross-dataset camera ambiguity, which we address through visual prompting and intrinsic-conditioned augmentation. With much smaller models, our method DepthLM surpasses the accuracy of most advanced VLMs by over 2x, making VLMs for the first time comparable with pure vision models. Interestingly, without explicit enforcement during training, VLMs trained with DepthLM naturally avoids over-smoothing, having much fewer flying points at boundary regions than pure vision models. The simplicity of DepthLM also enables a single VLM to cover various 3D tasks beyond metric depth. Our code and model will be released at the link below.

DepthLM: Metrische Diepte uit Visueel-Taalmodellen

DepthLM: Metric Depth From Vision Language Models

Samenvatting

Support