Ego-R1: Цепочка инструментальных рассуждений для анализа сверхдлинных эгоцентрических видеозаписей
Ego-R1: Chain-of-Tool-Thought for Ultra-Long Egocentric Video Reasoning
June 16, 2025
Авторы: Shulin Tian, Ruiqi Wang, Hongming Guo, Penghao Wu, Yuhao Dong, Xiuying Wang, Jingkang Yang, Hao Zhang, Hongyuan Zhu, Ziwei Liu
cs.AI
Аннотация
Мы представляем Ego-R1 — новую структуру для рассуждений на основе сверхдлинных (т.е. продолжительностью в дни и недели) эгоцентричных видео, которая использует структурированный процесс Chain-of-Tool-Thought (CoTT), управляемый агентом Ego-R1, обученным с помощью обучения с подкреплением (RL). Вдохновленный стратегиями решения задач человеком, CoTT разбивает сложные рассуждения на модульные шаги, где RL-агент вызывает конкретные инструменты, по одному на шаг, для итеративного и совместного ответа на подвопросы, связанные с такими задачами, как временное извлечение и мультимодальное понимание. Мы разработали двухэтапную парадигму обучения, включающую тонкую настройку (SFT) предварительно обученной языковой модели с использованием данных CoTT и RL, чтобы позволить нашему агенту динамически предлагать пошаговые инструменты для долгосрочных рассуждений. Для облегчения обучения мы создали набор данных под названием Ego-R1 Data, который состоит из Ego-CoTT-25K для SFT и Ego-QA-4.4K для RL. Кроме того, наш агент Ego-R1 оценивается на новом бенчмарке для недельных видео QA, Ego-R1 Bench, который содержит проверенные человеком пары вопросов и ответов из гибридных источников. Обширные результаты демонстрируют, что динамическое, инструментально-усиленное цепочечное рассуждение нашего агента Ego-R1 может эффективно справляться с уникальными задачами понимания сверхдлинных эгоцентричных видео, значительно расширяя временное покрытие с нескольких часов до недели.
English
We introduce Ego-R1, a novel framework for reasoning over ultra-long (i.e.,
in days and weeks) egocentric videos, which leverages a structured
Chain-of-Tool-Thought (CoTT) process, orchestrated by an Ego-R1 Agent trained
via reinforcement learning (RL). Inspired by human problem-solving strategies,
CoTT decomposes complex reasoning into modular steps, with the RL agent
invoking specific tools, one per step, to iteratively and collaboratively
answer sub-questions tackling such tasks as temporal retrieval and multi-modal
understanding. We design a two-stage training paradigm involving supervised
finetuning (SFT) of a pretrained language model using CoTT data and RL to
enable our agent to dynamically propose step-by-step tools for long-range
reasoning. To facilitate training, we construct a dataset called Ego-R1 Data,
which consists of Ego-CoTT-25K for SFT and Ego-QA-4.4K for RL. Furthermore, our
Ego-R1 agent is evaluated on a newly curated week-long video QA benchmark,
Ego-R1 Bench, which contains human-verified QA pairs from hybrid sources.
Extensive results demonstrate that the dynamic, tool-augmented chain-of-thought
reasoning by our Ego-R1 Agent can effectively tackle the unique challenges of
understanding ultra-long egocentric videos, significantly extending the time
coverage from few hours to a week.