Ego-R1: 超長尺エゴセントリック動画推論のためのツール連鎖思考

Ego-R1: Chain-of-Tool-Thought for Ultra-Long Egocentric Video Reasoning

June 16, 2025

著者: Shulin Tian, Ruiqi Wang, Hongming Guo, Penghao Wu, Yuhao Dong, Xiuying Wang, Jingkang Yang, Hao Zhang, Hongyuan Zhu, Ziwei Liu

cs.AI

要旨

我々は、超長時間（数日から数週間）のエゴセントリックビデオに対する推論を行うための新しいフレームワーク「Ego-R1」を提案する。このフレームワークは、強化学習（RL）によって訓練されたEgo-R1エージェントが指揮する構造化されたChain-of-Tool-Thought（CoTT）プロセスを活用している。人間の問題解決戦略に着想を得たCoTTは、複雑な推論をモジュール化されたステップに分解し、RLエージェントが各ステップごとに特定のツールを起動して、時間的検索やマルチモーダル理解といったタスクに対処するためのサブ質問に反復的かつ協調的に答える。我々は、CoTTデータを用いた事前訓練済み言語モデルの教師ありファインチューニング（SFT）とRLを含む2段階の訓練パラダイムを設計し、エージェントが長時間推論のためのステップバイステップのツールを動的に提案できるようにした。訓練を容易にするため、SFT用のEgo-CoTT-25KとRL用のEgo-QA-4.4KからなるEgo-R1 Dataデータセットを構築した。さらに、我々のEgo-R1エージェントは、ハイブリッドソースからの人間検証済みQAペアを含む新たにキュレーションされた1週間のビデオQAベンチマーク「Ego-R1 Bench」で評価された。広範な結果は、Ego-R1エージェントによる動的でツール拡張されたChain-of-Thought推論が、超長時間エゴセントリックビデオの理解という独特の課題に効果的に対処し、時間的カバレッジを数時間から1週間に大幅に拡張できることを示している。

English

We introduce Ego-R1, a novel framework for reasoning over ultra-long (i.e., in days and weeks) egocentric videos, which leverages a structured Chain-of-Tool-Thought (CoTT) process, orchestrated by an Ego-R1 Agent trained via reinforcement learning (RL). Inspired by human problem-solving strategies, CoTT decomposes complex reasoning into modular steps, with the RL agent invoking specific tools, one per step, to iteratively and collaboratively answer sub-questions tackling such tasks as temporal retrieval and multi-modal understanding. We design a two-stage training paradigm involving supervised finetuning (SFT) of a pretrained language model using CoTT data and RL to enable our agent to dynamically propose step-by-step tools for long-range reasoning. To facilitate training, we construct a dataset called Ego-R1 Data, which consists of Ego-CoTT-25K for SFT and Ego-QA-4.4K for RL. Furthermore, our Ego-R1 agent is evaluated on a newly curated week-long video QA benchmark, Ego-R1 Bench, which contains human-verified QA pairs from hybrid sources. Extensive results demonstrate that the dynamic, tool-augmented chain-of-thought reasoning by our Ego-R1 Agent can effectively tackle the unique challenges of understanding ultra-long egocentric videos, significantly extending the time coverage from few hours to a week.