ReferTrack: 참조 후 추적을 통한 체화된 시각 추적

초록

체화된 시각 추적(EVT)은 모바일 에이전트가 탑재된 카메라만을 이용하여 자연어로 기술된 특정 대상을 지속적으로 따라야 하는 과제이다. 최근의 시각-언어-행동(VLA) 정책은 대상 식별과 궤적 계획을 통합하지만, 이들의 사고 사슬(CoT) 추론은 종종 감독이 어렵고 명시적인 이미지 공간 검출과의 정렬이 약한 추상적인 공간 잠재 변수에서 작동한다. 이를 해결하기 위해 본 논문은 ReferTrack을 제안한다. ReferTrack은 단일 전방 카메라를 사용하여 EVT를 접지하는 지시-후-추적 패러다임으로, 먼저 인덱싱된 경계 상자 집합에서 대상을 선택한 후, 이 이미지 기반 결정에 조건부로 추적 웨이포인트를 디코딩한다. 시간에 따른 대상 움직임 신호를 보존하기 위해 ReferTrack은 이전에 선택된 경계 상자들의 슬라이딩 윈도우 큐를 유지하며, 시간-시점-경계상자 표시자(TVBI) 토큰을 통해 이들의 기하학적 특징을 시각적 기록에 주입한다. 또한 맞춤형 Refer-QA 데이터셋에 대한 공동 훈련을 통해 대상 식별을 더욱 강화한다. EVT-Bench에서 ReferTrack은 단일 대상, 방해 대상, 모호성 추적 분할에서 각각 89.4%, 73.3%, 74.1%의 성공률로 최첨단 단일 시점 성능을 달성하며, 식별이 중요한 작업에서 여러 다중 카메라 기준선과 일치하거나 능가한다. 마지막으로, 보행 로봇과 휴머노이드 로봇에 대한 실제 배치를 통해 강력한 시뮬레이션-실제 전이 능력을 검증한다. 코드는 https://github.com/MedlarTea/referTrack에서 확인할 수 있다.

English

Embodied visual tracking (EVT) requires a mobile agent to continuously follow a specific target described in natural language using only onboard vision. While recent vision-language-action (VLA) policies unify target identification and trajectory planning, their chain-of-thought (CoT) reasoning often operates in abstract spatial latents that are difficult to supervise and weakly aligned with explicit image-space detections. To address this, we introduce ReferTrack, a referring-then-tracking paradigm that grounds EVT using a single forward-facing camera. Our model first selects the target from an indexed set of bounding boxes, then decodes tracking waypoints conditioned on this image-grounded decision. To preserve target motion cues over time, ReferTrack maintains a sliding-window queue of previously selected bounding boxes, injecting their geometric features into the visual history via temporal-viewpoint-bbox indicator (TVBI) tokens. We further enhance target identification by co-training on a custom Refer-QA dataset. On EVT-Bench, ReferTrack achieves state-of-the-art single-view performance with success rates of 89.4%, 73.3%, and 74.1% on the single-target, distracted, and ambiguity tracking splits, respectively -- matching or even surpassing several multi-camera baselines on identification-heavy tasks. Finally, real-world deployments on legged and humanoid robots validate its robust sim-to-real transfer capabilities. Code is available at https://github.com/MedlarTea/referTrack.