Modellazione della Profondità Mascherata per la Percezione Spaziale
Masked Depth Modeling for Spatial Perception
January 25, 2026
Autori: Bin Tan, Changjiang Sun, Xiage Qin, Hanat Adai, Zelin Fu, Tianxiang Zhou, Han Zhang, Yinghao Xu, Xing Zhu, Yujun Shen, Nan Xue
cs.AI
Abstract
La percezione visiva spaziale è un requisito fondamentale in applicazioni del mondo fisico come la guida autonoma e la manipolazione robotica, spinte dalla necessità di interagire con ambienti 3D. La cattura di profondità metrica allineata ai pixel tramite telecamere RGB-D sarebbe la soluzione più praticabile, ma si scontra spesso con ostacoli posti dalle limitazioni hardware e da condizioni di imaging complesse, specialmente in presenza di superfici speculari o senza texture. In questo lavoro, sosteniamo che le imprecisioni dei sensori di profondità possano essere considerate come segnali "mascherati" che riflettono intrinsecamente ambiguità geometriche sottostanti. Basandoci su questa motivazione, presentiamo LingBot-Depth, un modello di completamento della profondità che sfrutta il contesto visivo per affinare le mappe di profondità attraverso la modellazione della profondità mascherata e incorpora una pipeline di curatela automatica dei dati per un addestramento scalabile. È incoraggiante osservare come il nostro modello superi telecamere RGB-D di alto livello in termini sia di precisione della profondità che di copertura pixel. I risultati sperimentali su una serie di task downstream suggeriscono inoltre che LingBot-Depth offre una rappresentazione latente allineata attraverso le modalità RGB e profondità. Rilasciamo codice, checkpoint e 3M coppie RGB-profondità (inclusi 2M di dati reali e 1M di dati simulati) alla comunità della percezione spaziale.
English
Spatial visual perception is a fundamental requirement in physical-world applications like autonomous driving and robotic manipulation, driven by the need to interact with 3D environments. Capturing pixel-aligned metric depth using RGB-D cameras would be the most viable way, yet it usually faces obstacles posed by hardware limitations and challenging imaging conditions, especially in the presence of specular or texture-less surfaces. In this work, we argue that the inaccuracies from depth sensors can be viewed as "masked" signals that inherently reflect underlying geometric ambiguities. Building on this motivation, we present LingBot-Depth, a depth completion model which leverages visual context to refine depth maps through masked depth modeling and incorporates an automated data curation pipeline for scalable training. It is encouraging to see that our model outperforms top-tier RGB-D cameras in terms of both depth precision and pixel coverage. Experimental results on a range of downstream tasks further suggest that LingBot-Depth offers an aligned latent representation across RGB and depth modalities. We release the code, checkpoint, and 3M RGB-depth pairs (including 2M real data and 1M simulated data) to the community of spatial perception.