로봇처럼 보다: 비전-언어-행동 모델을 위한 로봇 중심 포인트맵

초록

비전-언어-행동(VLA) 모델은 시각적 관찰과 언어 명령으로부터 로봇의 행동을 예측한다. 이러한 행동은 로봇 자체의 3차원 좌표 프레임에서 정의되지만, 대부분의 VLA는 카메라 프레임에서 장면을 관찰하므로, 장면이 관찰되는 위치와 행동이 정의되는 위치 사이에 프레임 불일치가 발생한다. 이러한 불일치는 고정된 시점 아래에서는 정책이 단일 관찰-행동 매핑을 기억할 수 있어 문제가 없지만, 대규모 데이터셋이 다양한 카메라 설정에 걸친 시연을 집계하고 정책이 이 매핑을 여러 시점에 걸쳐 일반화해야 할 때 더욱 어려워진다. 우리는 이러한 불일치를 로봇 중심 포인트맵(robot-centric pointmaps)으로 해결한다. 이는 픽셀에 로봇 프레임 상의 장면 점에 대한 3차원 좌표를 저장한 이미지이다. 포인트맵은 로봇 프레임의 3차원 기하학 정보를 제공하면서도 사전 훈련된 2D VLA가 기대하는 밀집된 H × W 격자 구조를 유지하므로, 최소한의 구조적 변경만으로 기존 VLA에 통합될 수 있다. RoboCasa에서 포인트맵은 pi0.5와 SmolVLA 모두를 개선하며, 대표적인 카메라 시점 및 3D 인식 기준선보다 우수한 성능을 보인다. 실제 로봇 실험에서는, 카메라를 훈련 중에 보지 못한 위치로 이동시켰을 때 포인트맵이 RGB 전용 정책보다 더 큰 이점을 나타냈다.

English

Vision-language-action (VLA) models predict robot actions from visual observations and language instructions. These actions are defined in the robot's own 3D coordinate frame, yet most VLAs observe the scene in the camera frame, creating a frame mismatch between where the scene is observed and where actions are defined. The mismatch is benign under a fixed viewpoint, where the policy can memorize a single observation-to-action mapping, but grows harder as large-scale datasets aggregate demonstrations across diverse camera setups and the policy must generalize this mapping across viewpoints. We address this mismatch with robot-centric pointmaps, images whose pixels store the 3D coordinates of scene points in the robot frame. Pointmaps provide robot-frame 3D geometry while preserving the dense H x W grid expected by pretrained 2D VLAs, so they integrate into existing VLAs with minimal architectural change. On RoboCasa, pointmaps improve both pi0.5 and SmolVLA and outperform representative camera-viewpoint and 3D-aware baselines. In real-robot experiments, their advantage over an RGB-only policy widens when the camera is moved to a placement unseen during training.