Ego-R1: Cadeia de Pensamento com Ferramentas para Raciocínio em Vídeos Egocêntricos Ultra-Longos
Ego-R1: Chain-of-Tool-Thought for Ultra-Long Egocentric Video Reasoning
June 16, 2025
Autores: Shulin Tian, Ruiqi Wang, Hongming Guo, Penghao Wu, Yuhao Dong, Xiuying Wang, Jingkang Yang, Hao Zhang, Hongyuan Zhu, Ziwei Liu
cs.AI
Resumo
Apresentamos o Ego-R1, uma nova estrutura para raciocínio sobre vídeos egocêntricos ultra-longos (ou seja, de dias e semanas), que utiliza um processo estruturado de Cadeia de Pensamento com Ferramentas (Chain-of-Tool-Thought, CoTT), orquestrado por um Agente Ego-R1 treinado via aprendizado por reforço (RL). Inspirado por estratégias humanas de resolução de problemas, o CoTT decompõe o raciocínio complexo em etapas modulares, com o agente RL invocando ferramentas específicas, uma por etapa, para responder iterativa e colaborativamente a subquestões que abordam tarefas como recuperação temporal e compreensão multimodal. Projetamos um paradigma de treinamento em duas etapas, envolvendo ajuste fino supervisionado (SFT) de um modelo de linguagem pré-treinado usando dados CoTT e RL, para capacitar nosso agente a propor dinamicamente ferramentas passo a passo para raciocínio de longo alcance. Para facilitar o treinamento, construímos um conjunto de dados chamado Ego-R1 Data, que consiste em Ego-CoTT-25K para SFT e Ego-QA-4.4K para RL. Além disso, nosso agente Ego-R1 é avaliado em um novo benchmark de QA (Question-Answering) de vídeos de uma semana, o Ego-R1 Bench, que contém pares QA verificados por humanos de fontes híbridas. Resultados extensivos demonstram que o raciocínio dinâmico e aumentado por ferramentas da Cadeia de Pensamento realizado pelo nosso Agente Ego-R1 pode efetivamente enfrentar os desafios únicos de compreensão de vídeos egocêntricos ultra-longos, estendendo significativamente a cobertura temporal de algumas horas para uma semana.
English
We introduce Ego-R1, a novel framework for reasoning over ultra-long (i.e.,
in days and weeks) egocentric videos, which leverages a structured
Chain-of-Tool-Thought (CoTT) process, orchestrated by an Ego-R1 Agent trained
via reinforcement learning (RL). Inspired by human problem-solving strategies,
CoTT decomposes complex reasoning into modular steps, with the RL agent
invoking specific tools, one per step, to iteratively and collaboratively
answer sub-questions tackling such tasks as temporal retrieval and multi-modal
understanding. We design a two-stage training paradigm involving supervised
finetuning (SFT) of a pretrained language model using CoTT data and RL to
enable our agent to dynamically propose step-by-step tools for long-range
reasoning. To facilitate training, we construct a dataset called Ego-R1 Data,
which consists of Ego-CoTT-25K for SFT and Ego-QA-4.4K for RL. Furthermore, our
Ego-R1 agent is evaluated on a newly curated week-long video QA benchmark,
Ego-R1 Bench, which contains human-verified QA pairs from hybrid sources.
Extensive results demonstrate that the dynamic, tool-augmented chain-of-thought
reasoning by our Ego-R1 Agent can effectively tackle the unique challenges of
understanding ultra-long egocentric videos, significantly extending the time
coverage from few hours to a week.