Агентное понимание очень длинных видео

Agentic Very Long Video Understanding

January 26, 2026

Авторы: Aniket Rege, Arka Sadhu, Yuliang Li, Kejie Li, Ramya Korlakai Vinayak, Yuning Chai, Yong Jae Lee, Hyo Jin Kim

cs.AI

Аннотация

Появление постоянно активных персональных ИИ-ассистентов, работающих на базе носимых в течение всего дня устройств, таких как умные очки, требует нового уровня контекстного понимания, выходящего за рамки коротких изолированных событий и охватывающего непрерывный, продольный поток эгоцентричного видео. Реализация этой концепции требует прогресса в области долгосрочного понимания видео, где системы должны интерпретировать и запоминать визуальную и аудиоинформацию, охватывающую дни или даже недели. Существующие методы, включая большие языковые модели и генерацию с расширением поиска, ограничены узкими окнами контекста и неспособны выполнять композиционные, многошаговые рассуждения над очень длинными видеопотоками. В данной работе мы решаем эти проблемы с помощью EGAgent — усовершенствованной агентской архитектуры, основанной на графах сцен с сущностями, которые представляют людей, места, объекты и их взаимосвязи во времени. Наша система оснащает агента-планировщика инструментами для структурированного поиска и рассуждений по этим графам, а также гибридными возможностями визуального и аудиопоиска, обеспечивая детальные, кросс-модальные и временно согласованные рассуждения. Эксперименты на наборах данных EgoLifeQA и Video-MME (Long) показывают, что наш метод достигает наилучших результатов на EgoLifeQA (57,5%) и конкурентоспособных результатов на Video-MME (Long) (74,1%) для сложных задач понимания продольного видео.

English

The advent of always-on personal AI assistants, enabled by all-day wearable devices such as smart glasses, demands a new level of contextual understanding, one that goes beyond short, isolated events to encompass the continuous, longitudinal stream of egocentric video. Achieving this vision requires advances in long-horizon video understanding, where systems must interpret and recall visual and audio information spanning days or even weeks. Existing methods, including large language models and retrieval-augmented generation, are constrained by limited context windows and lack the ability to perform compositional, multi-hop reasoning over very long video streams. In this work, we address these challenges through EGAgent, an enhanced agentic framework centered on entity scene graphs, which represent people, places, objects, and their relationships over time. Our system equips a planning agent with tools for structured search and reasoning over these graphs, as well as hybrid visual and audio search capabilities, enabling detailed, cross-modal, and temporally coherent reasoning. Experiments on the EgoLifeQA and Video-MME (Long) datasets show that our method achieves state-of-the-art performance on EgoLifeQA (57.5%) and competitive performance on Video-MME (Long) (74.1%) for complex longitudinal video understanding tasks.