Vision-Pretraining für dichte räumliche Wahrnehmung

Zusammenfassung

Dichte räumliche Wahrnehmung ist für die physikalische Intelligenz unerlässlich, bei der visuelle Systeme in der Lage sein sollen, aus Pixelbeobachtungen strukturierte, metrische und handlungsrelevante Repräsentationen zu gewinnen. Moderne visuelle Foundation-Modelle neigen dazu, semantische Invarianz zu priorisieren, oft auf Kosten eines detaillierten räumlichen Verständnisses. In dieser Arbeit untersuchen wir das visuelle Vortraining aus einer grenzzentrierten Perspektive, motiviert durch die Prämisse, dass Grenzen und Formdiskontinuitäten wesentliche Hinweise für die Wahrnehmung geometrischer Eigenschaften liefern. Konkret schlagen wir die maskierte Grenzmodellierung vor, ein selbstüberwachtes Paradigma, das dynamisch Subpixel-Grenzrepräsentationen lernt und anschließend die entdeckten grenztragenden Token als maskierte Ziele nutzt, um das Lernen dichter visueller Token zu fördern. Durch die Skalierung dieses Frameworks entwickeln wir LingBot-Vision und demonstrieren dessen Wirksamkeit über eine Vielzahl nachgelagerter Sehaufgaben hinweg, mit DINOv3 als starkem Baseline-Modell. Bemerkenswerterweise treibt LingBot-Vision den Fortschritt von LingBot-Depth 1.0 zu LingBot-Depth 2.0 für die Tiefenvervollständigung voran und liefert dadurch eine verbesserte Tiefenschätzung – eine zentrale Säule der verkörperten künstlichen Intelligenz. Unsere Ergebnisse zeigen, dass Grenzmodellierung über einfache Liniensegmente hinausgeht und stattdessen als skalierbares Vortrainingsprinzip für das Erlernen räumlich strukturierter visueller Repräsentationen dient.

English

Dense spatial perception is essential for physical intelligence, where visual systems are expected to recover structured, metric, and actionable representations from pixel observations. Modern visual foundation models tend to prioritize semantic invariance, often at the expense of detailed spatial understanding. In this work, we study vision pretraining through a boundary-centric lens, motivated by the premise that boundaries and shape discontinuities offer essential cues for perceiving geometric properties. Concretely, we propose masked boundary modeling, a self-supervised paradigm that dynamically learns sub-pixel boundary representations and subsequently leverages the discovered boundary-bearing tokens as masked targets to facilitate dense visual token learning. By scaling this framework, we develop LingBot-Vision and demonstrate its efficacy across a diverse set of downstream vision tasks with DINOv3 as a strong baseline. Remarkably, LingBot-Vision drives the progression from LingBot-Depth 1.0 to LingBot-Depth 2.0 for depth completion, and thereby yields enhanced depth estimation, a key pillar for embodied artificial intelligence. Our findings reveal that boundary modeling goes beyond simple line segments and instead serves as a scalable pretraining principle for learning spatially structured visual representations.