Ego-R1: 초장기 에고센트릭 비디오 추론을 위한 도구 사고 체인
Ego-R1: Chain-of-Tool-Thought for Ultra-Long Egocentric Video Reasoning
June 16, 2025
저자: Shulin Tian, Ruiqi Wang, Hongming Guo, Penghao Wu, Yuhao Dong, Xiuying Wang, Jingkang Yang, Hao Zhang, Hongyuan Zhu, Ziwei Liu
cs.AI
초록
우리는 초장기(즉, 며칠에서 몇 주에 걸친) 에고센트릭 비디오에 대한 추론을 위한 새로운 프레임워크인 Ego-R1을 소개합니다. 이 프레임워크는 강화 학습(RL)을 통해 훈련된 Ego-R1 에이전트가 조율하는 구조화된 도구 사고 연쇄(Chain-of-Tool-Thought, CoTT) 프로세스를 활용합니다. 인간의 문제 해결 전략에서 영감을 받은 CoTT는 복잡한 추론을 모듈화된 단계로 분해하며, RL 에이전트는 각 단계마다 특정 도구를 호출하여 시간적 검색 및 다중 모드 이해와 같은 작업을 해결하기 위한 하위 질문에 대해 반복적이고 협력적으로 답변합니다. 우리는 CoTT 데이터를 사용한 사전 훈련된 언어 모델의 지도 미세 조정(SFT)과 RL을 포함한 두 단계 훈련 패러다임을 설계하여 에이전트가 장기간 추론을 위해 단계별 도구를 동적으로 제안할 수 있도록 합니다. 훈련을 용이하게 하기 위해, 우리는 SFT를 위한 Ego-CoTT-25K와 RL을 위한 Ego-QA-4.4K로 구성된 Ego-R1 데이터셋을 구축했습니다. 또한, 우리의 Ego-R1 에이전트는 새롭게 구성된 일주일 분량의 비디오 QA 벤치마크인 Ego-R1 Bench에서 평가되며, 이 벤치마크는 하이브리드 소스에서 얻은 인간 검증 QA 쌍을 포함합니다. 광범위한 실험 결과는 Ego-R1 에이전트의 동적 도구 보강 사고 연쇄 추론이 초장기 에고센트릭 비디오 이해의 독특한 도전 과제를 효과적으로 해결할 수 있으며, 시간적 범위를 몇 시간에서 일주일로 크게 확장할 수 있음을 보여줍니다.
English
We introduce Ego-R1, a novel framework for reasoning over ultra-long (i.e.,
in days and weeks) egocentric videos, which leverages a structured
Chain-of-Tool-Thought (CoTT) process, orchestrated by an Ego-R1 Agent trained
via reinforcement learning (RL). Inspired by human problem-solving strategies,
CoTT decomposes complex reasoning into modular steps, with the RL agent
invoking specific tools, one per step, to iteratively and collaboratively
answer sub-questions tackling such tasks as temporal retrieval and multi-modal
understanding. We design a two-stage training paradigm involving supervised
finetuning (SFT) of a pretrained language model using CoTT data and RL to
enable our agent to dynamically propose step-by-step tools for long-range
reasoning. To facilitate training, we construct a dataset called Ego-R1 Data,
which consists of Ego-CoTT-25K for SFT and Ego-QA-4.4K for RL. Furthermore, our
Ego-R1 agent is evaluated on a newly curated week-long video QA benchmark,
Ego-R1 Bench, which contains human-verified QA pairs from hybrid sources.
Extensive results demonstrate that the dynamic, tool-augmented chain-of-thought
reasoning by our Ego-R1 Agent can effectively tackle the unique challenges of
understanding ultra-long egocentric videos, significantly extending the time
coverage from few hours to a week.