Comprensione di Video Molto Lunghi con Agenti
Agentic Very Long Video Understanding
January 26, 2026
Autori: Aniket Rege, Arka Sadhu, Yuliang Li, Kejie Li, Ramya Korlakai Vinayak, Yuning Chai, Yong Jae Lee, Hyo Jin Kim
cs.AI
Abstract
L'avvento di assistenti personali IA sempre attivi, resi possibili da dispositivi indossabili a utilizzo giornaliero come gli occhiali intelligenti, richiede un nuovo livello di comprensione contestuale, che vada oltre eventi brevi e isolati per abbracciare il flusso continuo e longitudinale di video in prima persona. Realizzare questa visione richiede progressi nella comprensione video a lungo termine, dove i sistemi devono interpretare e ricordare informazioni visive e audio che si estendono per giorni o addirittura settimane. I metodi esistenti, inclusi i grandi modelli linguistici e la generazione aumentata tramite recupero di informazioni, sono limitati da finestre contestuali ristrette e mancano della capacità di eseguire ragionamenti compositivi e multi-hop su flussi video molto lunghi. In questo lavoro, affrontiamo queste sfide attraverso EGAgent, un framework agentico potenziato incentrato su grafi della scena entità, che rappresentano persone, luoghi, oggetti e le loro relazioni nel tempo. Il nostro sistema fornisce a un agente di pianificazione strumenti per la ricerca strutturata e il ragionamento su questi grafi, nonché capacità ibride di ricerca visiva e audio, consentendo un ragionamento dettagliato, cross-modale e temporalmente coerente. Esperimenti sui dataset EgoLifeQA e Video-MME (Long) dimostrano che il nostro metodo raggiunge prestazioni allo stato dell'arte su EgoLifeQA (57,5%) e prestazioni competitive su Video-MME (Long) (74,1%) per compiti complessi di comprensione video longitudinale.
English
The advent of always-on personal AI assistants, enabled by all-day wearable devices such as smart glasses, demands a new level of contextual understanding, one that goes beyond short, isolated events to encompass the continuous, longitudinal stream of egocentric video. Achieving this vision requires advances in long-horizon video understanding, where systems must interpret and recall visual and audio information spanning days or even weeks. Existing methods, including large language models and retrieval-augmented generation, are constrained by limited context windows and lack the ability to perform compositional, multi-hop reasoning over very long video streams. In this work, we address these challenges through EGAgent, an enhanced agentic framework centered on entity scene graphs, which represent people, places, objects, and their relationships over time. Our system equips a planning agent with tools for structured search and reasoning over these graphs, as well as hybrid visual and audio search capabilities, enabling detailed, cross-modal, and temporally coherent reasoning. Experiments on the EgoLifeQA and Video-MME (Long) datasets show that our method achieves state-of-the-art performance on EgoLifeQA (57.5%) and competitive performance on Video-MME (Long) (74.1%) for complex longitudinal video understanding tasks.