Маскированное моделирование глубины для пространственного восприятия

Masked Depth Modeling for Spatial Perception

January 25, 2026

Авторы: Bin Tan, Changjiang Sun, Xiage Qin, Hanat Adai, Zelin Fu, Tianxiang Zhou, Han Zhang, Yinghao Xu, Xing Zhu, Yujun Shen, Nan Xue

cs.AI

Аннотация

Пространственное визуальное восприятие является фундаментальным требованием для приложений в физическом мире, таких как автономное вождение и манипуляции роботов, что обусловлено необходимостью взаимодействия с трехмерными средами. Получение метрической глубины, выровненной по пикселям, с помощью камер RGB-D было бы наиболее целесообразным способом, однако этому обычно препятствуют ограничения аппаратного обеспечения и сложные условия съемки, особенно при наличии зеркальных или лишенных текстуры поверхностей. В данной работе мы утверждаем, что неточности датчиков глубины можно рассматривать как «маскированные» сигналы, которые по своей природе отражают лежащие в основе геометрические неопределенности. Основываясь на этой идее, мы представляем LingBot-Depth — модель завершения глубины, которая использует визуальный контекст для уточнения карт глубины посредством моделирования маскированной глубины и включает автоматизированный конвейер курирования данных для масштабируемого обучения. Обнадеживает, что наша модель превосходит камеры RGB-D высшего класса как по точности определения глубины, так и по охвату пикселей. Результаты экспериментов на ряде последующих задач также свидетельствуют о том, что LingBot-Depth обеспечивает согласованное латентное представление для модальностей RGB и глубины. Мы публикуем код, контрольные точки и 3 миллиона пар RGB-глубина (включая 2 миллиона реальных и 1 миллион синтезированных данных) для сообщества, занимающегося пространственным восприятием.

English

Spatial visual perception is a fundamental requirement in physical-world applications like autonomous driving and robotic manipulation, driven by the need to interact with 3D environments. Capturing pixel-aligned metric depth using RGB-D cameras would be the most viable way, yet it usually faces obstacles posed by hardware limitations and challenging imaging conditions, especially in the presence of specular or texture-less surfaces. In this work, we argue that the inaccuracies from depth sensors can be viewed as "masked" signals that inherently reflect underlying geometric ambiguities. Building on this motivation, we present LingBot-Depth, a depth completion model which leverages visual context to refine depth maps through masked depth modeling and incorporates an automated data curation pipeline for scalable training. It is encouraging to see that our model outperforms top-tier RGB-D cameras in terms of both depth precision and pixel coverage. Experimental results on a range of downstream tasks further suggest that LingBot-Depth offers an aligned latent representation across RGB and depth modalities. We release the code, checkpoint, and 3M RGB-depth pairs (including 2M real data and 1M simulated data) to the community of spatial perception.