Masked Depth Modeling für räumliche Wahrnehmung
Masked Depth Modeling for Spatial Perception
January 25, 2026
papers.authors: Bin Tan, Changjiang Sun, Xiage Qin, Hanat Adai, Zelin Fu, Tianxiang Zhou, Han Zhang, Yinghao Xu, Xing Zhu, Yujun Shen, Nan Xue
cs.AI
papers.abstract
Die räumlich-visuelle Wahrnehmung ist eine grundlegende Anforderung in realen Anwendungen wie dem autonomen Fahren und der Robotermanipulation, die durch die Notwendigkeit zur Interaktion mit 3D-Umgebungen angetrieben wird. Die Erfassung pixelgenauer metrischer Tiefeninformationen mittels RGB-D-Kameras wäre der vielversprechendste Ansatz, stößt jedoch häufig auf Hindernisse durch hardwarebedingte Einschränkungen und anspruchsvolle Aufnahmebedingungen, insbesondere bei spiegelnden oder texturlosen Oberflächen. In dieser Arbeit vertreten wir die Auffassung, dass die Ungenauigkeiten von Tiefensensoren als "maskierte" Signale betrachtet werden können, die inhärent zugrunde liegende geometrische Mehrdeutigkeiten widerspiegeln. Aufbauend auf dieser Motivation stellen wir LingBot-Depth vor, ein Tiefenvervollständigungsmodell, das visuellen Kontext zur Verfeinerung von Tiefenkarten durch maskierte Tiefenmodellierung nutzt und eine automatisierte Datenkuratierungspipeline für skalierbares Training integriert. Es ist ermutigend zu beobachten, dass unser Modell hochwertige RGB-D-Kameras sowohl in puncto Tiefengenauigkeit als auch Pixelabdeckung übertrifft. Experimentelle Ergebnisse in einer Reihe nachgelagerter Aufgaben deuten weiterhin darauf hin, dass LingBot-Depth eine abgestimmte latente Repräsentation über RGB- und Tiefenmodalitäten hinweg bietet. Wir veröffentlichen Code, Checkpoints und 3M RGB-Tiefen-Paare (einschließlich 2M realer und 1M simulierter Daten) für die Community der räumlichen Wahrnehmung.
English
Spatial visual perception is a fundamental requirement in physical-world applications like autonomous driving and robotic manipulation, driven by the need to interact with 3D environments. Capturing pixel-aligned metric depth using RGB-D cameras would be the most viable way, yet it usually faces obstacles posed by hardware limitations and challenging imaging conditions, especially in the presence of specular or texture-less surfaces. In this work, we argue that the inaccuracies from depth sensors can be viewed as "masked" signals that inherently reflect underlying geometric ambiguities. Building on this motivation, we present LingBot-Depth, a depth completion model which leverages visual context to refine depth maps through masked depth modeling and incorporates an automated data curation pipeline for scalable training. It is encouraging to see that our model outperforms top-tier RGB-D cameras in terms of both depth precision and pixel coverage. Experimental results on a range of downstream tasks further suggest that LingBot-Depth offers an aligned latent representation across RGB and depth modalities. We release the code, checkpoint, and 3M RGB-depth pairs (including 2M real data and 1M simulated data) to the community of spatial perception.