Promuovere il Ragionamento Video attraverso la Predizione del Prossimo Evento
Fostering Video Reasoning via Next-Event Prediction
May 28, 2025
Autori: Haonan Wang, Hongfu Liu, Xiangyan Liu, Chao Du, Kenji Kawaguchi, Ye Wang, Tianyu Pang
cs.AI
Abstract
La previsione del token successivo costituisce il compito di apprendimento fondamentale che abilita il ragionamento nei LLM. Ma quale dovrebbe essere il compito di apprendimento quando si mira a dotare i MLLM di capacità di ragionamento temporale su input video? Compiti esistenti come il question answering su video spesso si basano su annotazioni umane o su MLLM molto più potenti, mentre la descrizione video tende a intrecciare il ragionamento temporale con le informazioni spaziali. Per colmare questa lacuna, proponiamo la previsione del prossimo evento (NEP), un compito di apprendimento che sfrutta i segmenti video futuri come segnale auto-supervisionato ricco per favorire il ragionamento temporale. Segmentiamo ogni video in fotogrammi passati e futuri: il MLLM prende in input i fotogrammi passati e prevede un riassunto degli eventi derivati dai fotogrammi futuri, incoraggiando così il modello a ragionare temporalmente per completare il compito. Per supportare questo compito, abbiamo curato V1-33K, un dataset composto da 33.000 segmenti video estratti automaticamente che coprono una vasta gamma di scenari del mondo reale. Esploriamo inoltre una serie di strategie di instruction-tuning su video per studiarne gli effetti sul ragionamento temporale. Per valutare i progressi, introduciamo FutureBench per valutare la coerenza nella previsione di eventi futuri non visti. Gli esperimenti convalidano che NEP offre un paradigma di formazione scalabile ed efficace per favorire il ragionamento temporale nei MLLM.
English
Next-token prediction serves as the foundational learning task enabling
reasoning in LLMs. But what should the learning task be when aiming to equip
MLLMs with temporal reasoning capabilities over video inputs? Existing tasks
such as video question answering often rely on annotations from humans or much
stronger MLLMs, while video captioning tends to entangle temporal reasoning
with spatial information. To address this gap, we propose next-event prediction
(NEP), a learning task that harnesses future video segments as a rich,
self-supervised signal to foster temporal reasoning. We segment each video into
past and future frames: the MLLM takes the past frames as input and predicts a
summary of events derived from the future frames, thereby encouraging the model
to reason temporally in order to complete the task. To support this task, we
curate V1-33K, a dataset comprising 33,000 automatically extracted video
segments spanning diverse real-world scenarios. We further explore a range of
video instruction-tuning strategies to study their effects on temporal
reasoning. To evaluate progress, we introduce FutureBench to assess coherence
in predicting unseen future events. Experiments validate that NEP offers a
scalable and effective training paradigm for fostering temporal reasoning in
MLLMs.