Verso una Comprensione Multimodale Continua: un Dataset e una Baseline Agente

Towards Multimodal Lifelong Understanding: A Dataset and Agentic Baseline

March 5, 2026

Autori: Guo Chen, Lidong Lu, Yicheng Liu, Liangrui Dong, Lidong Zou, Jixin Lv, Zhenquan Li, Xinyi Mao, Baoqi Pei, Shihao Wang, Zhiqi Li, Karan Sapra, Fuxiao Liu, Yin-Dong Zheng, Yifei Huang, Limin Wang, Zhiding Yu, Andrew Tao, Guilin Liu, Tong Lu

cs.AI

Abstract

Mentre i dataset per la comprensione video si sono estesi fino a durate orarie, sono tipicamente composti da clip densamente concatenate che differiscono dalla vita quotidiana naturale e non sceneggiata. Per colmare questa lacuna, introduciamo MM-Lifelong, un dataset progettato per la Comprensione Multimodale Continua (Lifelong). Comprendendo 181,1 ore di filmati, è strutturato su scale Giornaliera, Settimanale e Mensile per catturare densità temporali variabili. Valutazioni estensive rivelano due modalità critiche di fallimento negli attuali paradigmi: i MLLM end-to-end soffrono di un Collo di Bottiglia della Memoria di Lavoro a causa della saturazione del contesto, mentre i baseline agentivi rappresentativi subiscono un Collasso della Localizzazione Globale quando navigano sequenze temporali sparse della durata di mesi. Per affrontare questo problema, proponiamo l'Agente Multimodale Ricorsivo (ReMA), che impiega una gestione dinamica della memoria per aggiornare iterativamente uno stato di credenza ricorsivo, superando significativamente i metodi esistenti. Infine, stabiliamo delle suddivisioni del dataset progettate per isolare i bias temporali e di dominio, fornendo una base rigorosa per la ricerca futura nell'apprendimento supervisionato e nella generalizzazione fuori distribuzione.

English

While datasets for video understanding have scaled to hour-long durations, they typically consist of densely concatenated clips that differ from natural, unscripted daily life. To bridge this gap, we introduce MM-Lifelong, a dataset designed for Multimodal Lifelong Understanding. Comprising 181.1 hours of footage, it is structured across Day, Week, and Month scales to capture varying temporal densities. Extensive evaluations reveal two critical failure modes in current paradigms: end-to-end MLLMs suffer from a Working Memory Bottleneck due to context saturation, while representative agentic baselines experience Global Localization Collapse when navigating sparse, month-long timelines. To address this, we propose the Recursive Multimodal Agent (ReMA), which employs dynamic memory management to iteratively update a recursive belief state, significantly outperforming existing methods. Finally, we establish dataset splits designed to isolate temporal and domain biases, providing a rigorous foundation for future research in supervised learning and out-of-distribution generalization.