ReferTrack: 身体化視覚追跡のための参照追跡手法

要旨

身体化視覚追跡（EVT）は、移動ロボットが機体内蔵の視覚のみを用いて、自然言語で指定された特定の対象を継続的に追跡することを要求する。近年の視覚言語行動（VLA）ポリシーは、対象識別と軌道計画を統合するが、その思考連鎖（CoT）推論は、多くの場合、抽象的な空間潜在変数上で動作し、教師が困難であり、明示的な画像空間検出との対応が弱い。この問題に対処するため、我々はReferTrackを導入する。これは、単一の前方カメラを用いてEVTを接地する「参照してから追跡する」パラダイムである。本モデルは、まずインデックス化されたバウンディングボックス群から対象を選択し、次にこの画像接地された決定に基づいて追跡ウェイポイントをデコードする。時間経過に伴う対象動作手がかりを保持するため、ReferTrackは以前に選択されたバウンディングボックスのスライディングウィンドウキューを維持し、その幾何学的特徴を、時間視点バウンディングボックス指標（TVBI）トークンを介して視覚履歴に注入する。さらに、カスタムのRefer-QAデータセットによる共学習により対象識別を強化する。EVT-Benchにおいて、ReferTrackは単一対象、妨害存在、曖昧性追跡の各分割において、それぞれ89.4%、73.3%、74.1%の成功率で最先端の単一視点性能を達成し、識別重視タスクでは複数の複数カメラベースラインと同等以上である。最後に、脚ロボットおよび人型ロボットへの実世界展開により、堅牢なシミュレーション実環境転送能力を検証する。コードは https://github.com/MedlarTea/referTrack で入手可能である。

English

Embodied visual tracking (EVT) requires a mobile agent to continuously follow a specific target described in natural language using only onboard vision. While recent vision-language-action (VLA) policies unify target identification and trajectory planning, their chain-of-thought (CoT) reasoning often operates in abstract spatial latents that are difficult to supervise and weakly aligned with explicit image-space detections. To address this, we introduce ReferTrack, a referring-then-tracking paradigm that grounds EVT using a single forward-facing camera. Our model first selects the target from an indexed set of bounding boxes, then decodes tracking waypoints conditioned on this image-grounded decision. To preserve target motion cues over time, ReferTrack maintains a sliding-window queue of previously selected bounding boxes, injecting their geometric features into the visual history via temporal-viewpoint-bbox indicator (TVBI) tokens. We further enhance target identification by co-training on a custom Refer-QA dataset. On EVT-Bench, ReferTrack achieves state-of-the-art single-view performance with success rates of 89.4%, 73.3%, and 74.1% on the single-target, distracted, and ambiguity tracking splits, respectively -- matching or even surpassing several multi-camera baselines on identification-heavy tasks. Finally, real-world deployments on legged and humanoid robots validate its robust sim-to-real transfer capabilities. Code is available at https://github.com/MedlarTea/referTrack.