Comprensión de Videos Muy Largos con Capacidad de Acción
Agentic Very Long Video Understanding
January 26, 2026
Autores: Aniket Rege, Arka Sadhu, Yuliang Li, Kejie Li, Ramya Korlakai Vinayak, Yuning Chai, Yong Jae Lee, Hyo Jin Kim
cs.AI
Resumen
La llegada de asistentes de IA personales siempre activos, impulsada por dispositivos portátiles de uso continuo como las gafas inteligentes, exige un nuevo nivel de comprensión contextual que va más allá de eventos aislados y breves para abarcar el flujo continuo y longitudinal del video egocéntrico. Lograr esta visión requiere avances en la comprensión de video a largo plazo, donde los sistemas deben interpretar y recordar información visual y auditiva que abarca días o incluso semanas. Los métodos existentes, incluidos los grandes modelos de lenguaje y la generación aumentada por recuperación, están limitados por ventanas de contexto reducidas y carecen de la capacidad para realizar razonamientos compositivos y de múltiples saltos sobre flujos de video muy extensos. En este trabajo, abordamos estos desafíos mediante EGAgent, un marco agéntico mejorado centrado en grafos de escena de entidades, que representan personas, lugares, objetos y sus relaciones a lo largo del tiempo. Nuestro sistema dota a un agente de planificación con herramientas para búsqueda estructurada y razonamiento sobre estos grafos, así como capacidades híbridas de búsqueda visual y auditiva, permitiendo un razonamiento detallado, multimodal y temporalmente coherente. Los experimentos en los conjuntos de datos EgoLifeQA y Video-MME (Long) demuestran que nuestro método alcanza un rendimiento state-of-the-art en EgoLifeQA (57.5%) y un rendimiento competitivo en Video-MME (Long) (74.1%) para tareas complejas de comprensión de video longitudinal.
English
The advent of always-on personal AI assistants, enabled by all-day wearable devices such as smart glasses, demands a new level of contextual understanding, one that goes beyond short, isolated events to encompass the continuous, longitudinal stream of egocentric video. Achieving this vision requires advances in long-horizon video understanding, where systems must interpret and recall visual and audio information spanning days or even weeks. Existing methods, including large language models and retrieval-augmented generation, are constrained by limited context windows and lack the ability to perform compositional, multi-hop reasoning over very long video streams. In this work, we address these challenges through EGAgent, an enhanced agentic framework centered on entity scene graphs, which represent people, places, objects, and their relationships over time. Our system equips a planning agent with tools for structured search and reasoning over these graphs, as well as hybrid visual and audio search capabilities, enabling detailed, cross-modal, and temporally coherent reasoning. Experiments on the EgoLifeQA and Video-MME (Long) datasets show that our method achieves state-of-the-art performance on EgoLifeQA (57.5%) and competitive performance on Video-MME (Long) (74.1%) for complex longitudinal video understanding tasks.