Modelagem de Profundidade Mascarada para Percepção Espacial
Masked Depth Modeling for Spatial Perception
January 25, 2026
Autores: Bin Tan, Changjiang Sun, Xiage Qin, Hanat Adai, Zelin Fu, Tianxiang Zhou, Han Zhang, Yinghao Xu, Xing Zhu, Yujun Shen, Nan Xue
cs.AI
Resumo
A percepção visual espacial é um requisito fundamental em aplicações do mundo real, como condução autónoma e manipulação robótica, impulsionada pela necessidade de interagir com ambientes 3D. A captura de profundidade métrica alinhada por pixel utilizando câmaras RGB-D seria a forma mais viável, mas geralmente enfrenta obstáculos impostos pelas limitações de hardware e condições de imagem desafiadoras, especialmente na presença de superfícies especulares ou sem textura. Neste trabalho, argumentamos que as imprecisões dos sensores de profundidade podem ser vistas como sinais "mascarados" que refletem inerentemente ambiguidades geométricas subjacentes. Com base nesta motivação, apresentamos o LingBot-Depth, um modelo de conclusão de profundidade que aproveita o contexto visual para refinar mapas de profundidade através de modelação de profundidade mascarada e incorpora um pipeline de curadoria de dados automatizado para treino escalável. É encorajador ver que o nosso modelo supera as melhores câmaras RGB-D em termos de precisão de profundidade e cobertura de pixel. Os resultados experimentais numa série de tarefas subsequentes sugerem ainda que o LingBot-Depth oferece uma representação latente alinhada através das modalidades RGB e de profundidade. Disponibilizamos o código, o *checkpoint* e 3M pares RGB-profundidade (incluindo 2M de dados reais e 1M de dados simulados) para a comunidade de perceção espacial.
English
Spatial visual perception is a fundamental requirement in physical-world applications like autonomous driving and robotic manipulation, driven by the need to interact with 3D environments. Capturing pixel-aligned metric depth using RGB-D cameras would be the most viable way, yet it usually faces obstacles posed by hardware limitations and challenging imaging conditions, especially in the presence of specular or texture-less surfaces. In this work, we argue that the inaccuracies from depth sensors can be viewed as "masked" signals that inherently reflect underlying geometric ambiguities. Building on this motivation, we present LingBot-Depth, a depth completion model which leverages visual context to refine depth maps through masked depth modeling and incorporates an automated data curation pipeline for scalable training. It is encouraging to see that our model outperforms top-tier RGB-D cameras in terms of both depth precision and pixel coverage. Experimental results on a range of downstream tasks further suggest that LingBot-Depth offers an aligned latent representation across RGB and depth modalities. We release the code, checkpoint, and 3M RGB-depth pairs (including 2M real data and 1M simulated data) to the community of spatial perception.