К мультимодальному непрерывному пониманию: набор данных и агентная базовая модель
Towards Multimodal Lifelong Understanding: A Dataset and Agentic Baseline
March 5, 2026
Авторы: Guo Chen, Lidong Lu, Yicheng Liu, Liangrui Dong, Lidong Zou, Jixin Lv, Zhenquan Li, Xinyi Mao, Baoqi Pei, Shihao Wang, Zhiqi Li, Karan Sapra, Fuxiao Liu, Yin-Dong Zheng, Yifei Huang, Limin Wang, Zhiding Yu, Andrew Tao, Guilin Liu, Tong Lu
cs.AI
Аннотация
Хотя наборы данных для понимания видео масштабировались до продолжительности в несколько часов, они обычно состоят из плотно сконкатенированных клипов, которые отличаются от естественной, неподготовленной повседневной жизни. Чтобы сократить этот разрыв, мы представляем MM-Lifelong — набор данных, разработанный для многомодального понимания на протяжении жизни (Multimodal Lifelong Understanding). Он включает 181.1 час видеоматериала, структурированного по шкалам День, Неделя и Месяц для отражения различной временной плотности. Обширные оценки выявляют два критических типа сбоев в современных парадигмах: сквозные MLLM страдают от ограничения рабочей памяти из-за насыщения контекста, в то время как репрезентативные агентные базовые линии сталкиваются с коллапсом глобальной локализации при навигации по разреженным временным шкалам длиной в месяц. Для решения этой проблемы мы предлагаем Рекурсивного Многомодального Агента (ReMA), который использует динамическое управление памятью для итеративного обновления рекурсивного состояния уверенности, значительно превосходя существующие методы. Наконец, мы устанавливаем разделения набора данных, предназначенные для изоляции временных и доменных смещений, обеспечивая строгую основу для будущих исследований в области обучения с учителем и обобщения на распределениях, отличных от обучающих.
English
While datasets for video understanding have scaled to hour-long durations, they typically consist of densely concatenated clips that differ from natural, unscripted daily life. To bridge this gap, we introduce MM-Lifelong, a dataset designed for Multimodal Lifelong Understanding. Comprising 181.1 hours of footage, it is structured across Day, Week, and Month scales to capture varying temporal densities. Extensive evaluations reveal two critical failure modes in current paradigms: end-to-end MLLMs suffer from a Working Memory Bottleneck due to context saturation, while representative agentic baselines experience Global Localization Collapse when navigating sparse, month-long timelines. To address this, we propose the Recursive Multimodal Agent (ReMA), which employs dynamic memory management to iteratively update a recursive belief state, significantly outperforming existing methods. Finally, we establish dataset splits designed to isolate temporal and domain biases, providing a rigorous foundation for future research in supervised learning and out-of-distribution generalization.