ロボットのように見る：視覚言語行動モデルのためのロボット中心ポイントマップ

要旨

視覚言語行動（VLA）モデルは、視覚観察と言語指示からロボット行動を予測する。これらの行動はロボット自身の3次元座標系で定義されるが、ほとんどのVLAはカメラ座標系でシーンを観測するため、シーンの観測と行動の定義との間に座標系の不一致が生じる。この不一致は固定視点では問題にならない。固定視点では方策が単一の観測から行動への写像を記憶できるからである。しかし、大規模データセットが多様なカメラ設定にわたるデモンストレーションを集約し、方策がこの写像を視点間で一般化する必要がある場合、その困難は増大する。我々はこの不一致をロボット中心点群マップで解決する。これは、ピクセルにロボット座標系におけるシーンポイントの3次元座標を格納した画像である。点群マップはロボット座標系の3次元形状を提供しながら、事前学習済み2D VLAが期待する高密度のH×Wグリッドを保持するため、最小限のアーキテクチャ変更で既存のVLAに統合できる。RoboCasaにおいて、点群マップはpi0.5とSmolVLAの両方を改善し、代表的なカメラ視点および3次元認識ベースラインを上回る性能を示した。実ロボット実験では、訓練中に見られなかったカメラ配置にカメラを移動させた場合、RGBのみの方策に対する点群マップの優位性が拡大した。

English

Vision-language-action (VLA) models predict robot actions from visual observations and language instructions. These actions are defined in the robot's own 3D coordinate frame, yet most VLAs observe the scene in the camera frame, creating a frame mismatch between where the scene is observed and where actions are defined. The mismatch is benign under a fixed viewpoint, where the policy can memorize a single observation-to-action mapping, but grows harder as large-scale datasets aggregate demonstrations across diverse camera setups and the policy must generalize this mapping across viewpoints. We address this mismatch with robot-centric pointmaps, images whose pixels store the 3D coordinates of scene points in the robot frame. Pointmaps provide robot-frame 3D geometry while preserving the dense H x W grid expected by pretrained 2D VLAs, so they integrate into existing VLAs with minimal architectural change. On RoboCasa, pointmaps improve both pi0.5 and SmolVLA and outperform representative camera-viewpoint and 3D-aware baselines. In real-robot experiments, their advantage over an RGB-only policy widens when the camera is moved to a placement unseen during training.