Ego-R1: Ketting-van-Gereedschap-Gedachte voor Ultra-Lange Egocentrische Videoredenering
Ego-R1: Chain-of-Tool-Thought for Ultra-Long Egocentric Video Reasoning
June 16, 2025
Auteurs: Shulin Tian, Ruiqi Wang, Hongming Guo, Penghao Wu, Yuhao Dong, Xiuying Wang, Jingkang Yang, Hao Zhang, Hongyuan Zhu, Ziwei Liu
cs.AI
Samenvatting
We introduceren Ego-R1, een nieuw raamwerk voor redeneren over ultra-lange (d.w.z. dagen en weken durende) egocentrische video's, dat gebruikmaakt van een gestructureerd Chain-of-Tool-Thought (CoTT) proces, gecoördineerd door een Ego-R1 Agent die is getraind via reinforcement learning (RL). Geïnspireerd door menselijke probleemoplossingsstrategieën, ontleedt CoTT complex redeneren in modulaire stappen, waarbij de RL-agent specifieke tools aanroept, één per stap, om iteratief en collaboratief deelvragen te beantwoorden die taken zoals temporele retrievel en multi-modale interpretatie aanpakken. We ontwerpen een tweefasig trainingsparadigma dat supervised finetuning (SFT) van een voorgetraind taalmodel met CoTT-data en RL omvat, zodat onze agent dynamisch stap-voor-stap tools kan voorstellen voor langetermijnredenering. Om de training te faciliteren, construeren we een dataset genaamd Ego-R1 Data, die bestaat uit Ego-CoTT-25K voor SFT en Ego-QA-4.4K voor RL. Daarnaast wordt onze Ego-R1-agent geëvalueerd op een nieuw samengestelde weeklange video QA-benchmark, Ego-R1 Bench, die menselijk geverifieerde QA-paren bevat uit hybride bronnen. Uitgebreide resultaten tonen aan dat het dynamische, tool-ondersteunde chain-of-thought redeneren door onze Ego-R1 Agent effectief de unieke uitdagingen van het begrijpen van ultra-lange egocentrische video's kan aanpakken, waardoor de tijdsdekking aanzienlijk wordt uitgebreid van enkele uren naar een week.
English
We introduce Ego-R1, a novel framework for reasoning over ultra-long (i.e.,
in days and weeks) egocentric videos, which leverages a structured
Chain-of-Tool-Thought (CoTT) process, orchestrated by an Ego-R1 Agent trained
via reinforcement learning (RL). Inspired by human problem-solving strategies,
CoTT decomposes complex reasoning into modular steps, with the RL agent
invoking specific tools, one per step, to iteratively and collaboratively
answer sub-questions tackling such tasks as temporal retrieval and multi-modal
understanding. We design a two-stage training paradigm involving supervised
finetuning (SFT) of a pretrained language model using CoTT data and RL to
enable our agent to dynamically propose step-by-step tools for long-range
reasoning. To facilitate training, we construct a dataset called Ego-R1 Data,
which consists of Ego-CoTT-25K for SFT and Ego-QA-4.4K for RL. Furthermore, our
Ego-R1 agent is evaluated on a newly curated week-long video QA benchmark,
Ego-R1 Bench, which contains human-verified QA pairs from hybrid sources.
Extensive results demonstrate that the dynamic, tool-augmented chain-of-thought
reasoning by our Ego-R1 Agent can effectively tackle the unique challenges of
understanding ultra-long egocentric videos, significantly extending the time
coverage from few hours to a week.