Modélisation de la Profondeur Masquée pour la Perception Spatiale
Masked Depth Modeling for Spatial Perception
January 25, 2026
papers.authors: Bin Tan, Changjiang Sun, Xiage Qin, Hanat Adai, Zelin Fu, Tianxiang Zhou, Han Zhang, Yinghao Xu, Xing Zhu, Yujun Shen, Nan Xue
cs.AI
papers.abstract
La perception visuelle spatiale est une exigence fondamentale dans les applications du monde physique comme la conduite autonome et la manipulation robotique, motivée par la nécessité d'interagir avec des environnements 3D. L'acquisition d'une profondeur métrique alignée sur les pixels à l'aide de caméras RGB-D serait la méthode la plus viable, mais elle se heurte généralement à des obstacles posés par les limitations matérielles et les conditions d'imagerie difficiles, en particulier en présence de surfaces spéculaires ou sans texture. Dans ce travail, nous soutenons que les imprécisions des capteurs de profondeur peuvent être considérées comme des signaux "masqués" qui reflètent intrinsèquement les ambiguïtés géométriques sous-jacentes. Sur la base de cette motivation, nous présentons LingBot-Depth, un modèle de complétion de profondeur qui exploite le contexte visuel pour affiner les cartes de profondeur via une modélisation de profondeur masquée et intègre un pipeline de curation automatisée des données pour un entraînement scalable. Il est encourageant de constater que notre modèle surpasse les caméras RGB-D haut de gamme en termes de précision de profondeur et de couverture pixel. Les résultats expérimentaux sur une série de tâches en aval suggèrent en outre que LingBot-Depth offre une représentation latente alignée à travers les modalités RVB et profondeur. Nous mettons à disposition de la communauté de la perception spatiale le code, le point de contrôle et 3 millions de paires RVB-profondeur (incluant 2 millions de données réelles et 1 million de données simulées).
English
Spatial visual perception is a fundamental requirement in physical-world applications like autonomous driving and robotic manipulation, driven by the need to interact with 3D environments. Capturing pixel-aligned metric depth using RGB-D cameras would be the most viable way, yet it usually faces obstacles posed by hardware limitations and challenging imaging conditions, especially in the presence of specular or texture-less surfaces. In this work, we argue that the inaccuracies from depth sensors can be viewed as "masked" signals that inherently reflect underlying geometric ambiguities. Building on this motivation, we present LingBot-Depth, a depth completion model which leverages visual context to refine depth maps through masked depth modeling and incorporates an automated data curation pipeline for scalable training. It is encouraging to see that our model outperforms top-tier RGB-D cameras in terms of both depth precision and pixel coverage. Experimental results on a range of downstream tasks further suggest that LingBot-Depth offers an aligned latent representation across RGB and depth modalities. We release the code, checkpoint, and 3M RGB-depth pairs (including 2M real data and 1M simulated data) to the community of spatial perception.