Het bevorderen van videoredenering via voorspelling van het volgende evenement
Fostering Video Reasoning via Next-Event Prediction
May 28, 2025
Auteurs: Haonan Wang, Hongfu Liu, Xiangyan Liu, Chao Du, Kenji Kawaguchi, Ye Wang, Tianyu Pang
cs.AI
Samenvatting
Next-token prediction dient als de fundamentele leertaak die redeneren in LLM's mogelijk maakt. Maar wat zou de leertaak moeten zijn wanneer we MLLM's willen uitrusten met temporele redeneervaardigheden voor video-invoer? Bestaande taken zoals video-vraagbeantwoording zijn vaak afhankelijk van annotaties van mensen of veel sterkere MLLM's, terwijl videobeschrijving de neiging heeft om temporeel redeneren te verstrengelen met ruimtelijke informatie. Om deze kloof te overbruggen, stellen we next-event prediction (NEP) voor, een leertaak die toekomstige videosegmenten benut als een rijke, zelfgesuperviseerde signaal om temporeel redeneren te bevorderen. We segmenteren elke video in verleden en toekomstige frames: de MLLM neemt de verleden frames als invoer en voorspelt een samenvatting van gebeurtenissen afgeleid van de toekomstige frames, waardoor het model wordt aangemoedigd om temporeel te redeneren om de taak te voltooien. Om deze taak te ondersteunen, hebben we V1-33K samengesteld, een dataset bestaande uit 33.000 automatisch geëxtraheerde videosegmenten die diverse real-world scenario's omvatten. We onderzoeken verder een reeks video-instructie-afstemmingsstrategieën om hun effecten op temporeel redeneren te bestuderen. Om de voortgang te evalueren, introduceren we FutureBench om de samenhang te beoordelen bij het voorspellen van onbekende toekomstige gebeurtenissen. Experimenten valideren dat NEP een schaalbare en effectieve trainingsparadigma biedt voor het bevorderen van temporeel redeneren in MLLM's.
English
Next-token prediction serves as the foundational learning task enabling
reasoning in LLMs. But what should the learning task be when aiming to equip
MLLMs with temporal reasoning capabilities over video inputs? Existing tasks
such as video question answering often rely on annotations from humans or much
stronger MLLMs, while video captioning tends to entangle temporal reasoning
with spatial information. To address this gap, we propose next-event prediction
(NEP), a learning task that harnesses future video segments as a rich,
self-supervised signal to foster temporal reasoning. We segment each video into
past and future frames: the MLLM takes the past frames as input and predicts a
summary of events derived from the future frames, thereby encouraging the model
to reason temporally in order to complete the task. To support this task, we
curate V1-33K, a dataset comprising 33,000 automatically extracted video
segments spanning diverse real-world scenarios. We further explore a range of
video instruction-tuning strategies to study their effects on temporal
reasoning. To evaluate progress, we introduce FutureBench to assess coherence
in predicting unseen future events. Experiments validate that NEP offers a
scalable and effective training paradigm for fostering temporal reasoning in
MLLMs.