Compréhension vidéo très longue de type agentique
Agentic Very Long Video Understanding
January 26, 2026
papers.authors: Aniket Rege, Arka Sadhu, Yuliang Li, Kejie Li, Ramya Korlakai Vinayak, Yuning Chai, Yong Jae Lee, Hyo Jin Kim
cs.AI
papers.abstract
L'émergence d'assistants IA personnels toujours actifs, rendue possible par des dispositifs portables à usage permanent comme les lunettes intelligentes, exige un niveau supérieur de compréhension contextuelle. Cette compréhension doit dépasser les événements isolés et brefs pour englober le flux continu et longitudinal de vidéos égocentriques. Réaliser cette vision nécessite des progrès en compréhension vidéo à long terme, où les systèmes doivent interpréter et mémoriser des informations visuelles et audio s'étalant sur des jours, voire des semaines. Les méthodes existantes, incluant les grands modèles de langage et la génération augmentée par recherche, sont limitées par des fenêtres de contexte restreintes et incapables de réaliser un raisonnement compositionnel et multi-sauts sur des flux vidéo très longs. Dans ce travail, nous relevons ces défis avec EGAgent, un cadre agentiel amélioré centré sur des graphes de scène entités, qui représentent les personnes, lieux, objets et leurs relations dans le temps. Notre système dote un agent de planification d'outils de recherche structurée et de raisonnement sur ces graphes, ainsi que de capacités hybrides de recherche visuelle et audio, permettant un raisonnement détaillé, multimodal et temporellement cohérent. Les expériences sur les ensembles de données EgoLifeQA et Video-MME (Long) montrent que notre méthode atteint des performances de pointe sur EgoLifeQA (57,5 %) et des performances compétitives sur Video-MME (Long) (74,1 %) pour des tâches complexes de compréhension vidéo longitudinale.
English
The advent of always-on personal AI assistants, enabled by all-day wearable devices such as smart glasses, demands a new level of contextual understanding, one that goes beyond short, isolated events to encompass the continuous, longitudinal stream of egocentric video. Achieving this vision requires advances in long-horizon video understanding, where systems must interpret and recall visual and audio information spanning days or even weeks. Existing methods, including large language models and retrieval-augmented generation, are constrained by limited context windows and lack the ability to perform compositional, multi-hop reasoning over very long video streams. In this work, we address these challenges through EGAgent, an enhanced agentic framework centered on entity scene graphs, which represent people, places, objects, and their relationships over time. Our system equips a planning agent with tools for structured search and reasoning over these graphs, as well as hybrid visual and audio search capabilities, enabling detailed, cross-modal, and temporally coherent reasoning. Experiments on the EgoLifeQA and Video-MME (Long) datasets show that our method achieves state-of-the-art performance on EgoLifeQA (57.5%) and competitive performance on Video-MME (Long) (74.1%) for complex longitudinal video understanding tasks.