Rumo à Compreensão Multimodal ao Longo da Vida: Um Conjunto de Dados e uma Linha de Base Agêntica
Towards Multimodal Lifelong Understanding: A Dataset and Agentic Baseline
March 5, 2026
Autores: Guo Chen, Lidong Lu, Yicheng Liu, Liangrui Dong, Lidong Zou, Jixin Lv, Zhenquan Li, Xinyi Mao, Baoqi Pei, Shihao Wang, Zhiqi Li, Karan Sapra, Fuxiao Liu, Yin-Dong Zheng, Yifei Huang, Limin Wang, Zhiding Yu, Andrew Tao, Guilin Liu, Tong Lu
cs.AI
Resumo
Embora os conjuntos de dados para compreensão de vídeo tenham escalado para durações de longas horas, eles geralmente consistem em clipes densamente concatenados que diferem da vida diária natural e não roteirizada. Para preencher essa lacuna, apresentamos o MM-Lifelong, um conjunto de dados projetado para Compreensão Multimodal ao Longo da Vida. Compreendendo 181,1 horas de filmagem, ele é estruturado em escalas de Dia, Semana e Mês para capturar densidades temporais variadas. Avaliações extensivas revelam dois modos críticos de falha nos paradigmas atuais: MLLMs de ponta a ponta sofrem de um Gargalo de Memória de Trabalho devido à saturação de contexto, enquanto bases de referência agentes representativas experimentam um Colapso de Localização Global ao navegar em linhas do tempo esparsas e mensais. Para resolver isso, propomos o Agente Multimodal Recursivo (ReMA), que emprega gerenciamento dinâmico de memória para atualizar iterativamente um estado de crença recursivo, superando significativamente os métodos existentes. Por fim, estabelecemos divisões de conjunto de dados projetadas para isolar vieses temporais e de domínio, fornecendo uma base rigorosa para pesquisas futuras em aprendizado supervisionado e generalização fora da distribuição.
English
While datasets for video understanding have scaled to hour-long durations, they typically consist of densely concatenated clips that differ from natural, unscripted daily life. To bridge this gap, we introduce MM-Lifelong, a dataset designed for Multimodal Lifelong Understanding. Comprising 181.1 hours of footage, it is structured across Day, Week, and Month scales to capture varying temporal densities. Extensive evaluations reveal two critical failure modes in current paradigms: end-to-end MLLMs suffer from a Working Memory Bottleneck due to context saturation, while representative agentic baselines experience Global Localization Collapse when navigating sparse, month-long timelines. To address this, we propose the Recursive Multimodal Agent (ReMA), which employs dynamic memory management to iteratively update a recursive belief state, significantly outperforming existing methods. Finally, we establish dataset splits designed to isolate temporal and domain biases, providing a rigorous foundation for future research in supervised learning and out-of-distribution generalization.