Promovendo o Raciocínio em Vídeo por meio da Previsão do Próximo Evento
Fostering Video Reasoning via Next-Event Prediction
May 28, 2025
Autores: Haonan Wang, Hongfu Liu, Xiangyan Liu, Chao Du, Kenji Kawaguchi, Ye Wang, Tianyu Pang
cs.AI
Resumo
A previsão do próximo token serve como a tarefa de aprendizado fundamental que habilita o raciocínio em LLMs. Mas qual deve ser a tarefa de aprendizado ao buscar equipar MLLMs com capacidades de raciocínio temporal sobre entradas de vídeo? Tarefas existentes, como a resposta a perguntas sobre vídeos, frequentemente dependem de anotações feitas por humanos ou por MLLMs muito mais robustos, enquanto a legendagem de vídeos tende a entrelaçar o raciocínio temporal com informações espaciais. Para abordar essa lacuna, propomos a previsão do próximo evento (NEP), uma tarefa de aprendizado que aproveita segmentos futuros de vídeo como um sinal rico e auto-supervisionado para promover o raciocínio temporal. Segmentamos cada vídeo em quadros passados e futuros: o MLLM recebe os quadros passados como entrada e prevê um resumo dos eventos derivados dos quadros futuros, incentivando assim o modelo a raciocinar temporalmente para completar a tarefa. Para apoiar essa tarefa, compilamos o V1-33K, um conjunto de dados que compreende 33.000 segmentos de vídeo extraídos automaticamente, abrangendo diversos cenários do mundo real. Exploramos ainda uma variedade de estratégias de ajuste fino por instrução em vídeo para estudar seus efeitos no raciocínio temporal. Para avaliar o progresso, introduzimos o FutureBench para avaliar a coerência na previsão de eventos futuros não vistos. Experimentos validam que o NEP oferece um paradigma de treinamento escalável e eficaz para promover o raciocínio temporal em MLLMs.
English
Next-token prediction serves as the foundational learning task enabling
reasoning in LLMs. But what should the learning task be when aiming to equip
MLLMs with temporal reasoning capabilities over video inputs? Existing tasks
such as video question answering often rely on annotations from humans or much
stronger MLLMs, while video captioning tends to entangle temporal reasoning
with spatial information. To address this gap, we propose next-event prediction
(NEP), a learning task that harnesses future video segments as a rich,
self-supervised signal to foster temporal reasoning. We segment each video into
past and future frames: the MLLM takes the past frames as input and predicts a
summary of events derived from the future frames, thereby encouraging the model
to reason temporally in order to complete the task. To support this task, we
curate V1-33K, a dataset comprising 33,000 automatically extracted video
segments spanning diverse real-world scenarios. We further explore a range of
video instruction-tuning strategies to study their effects on temporal
reasoning. To evaluate progress, we introduce FutureBench to assess coherence
in predicting unseen future events. Experiments validate that NEP offers a
scalable and effective training paradigm for fostering temporal reasoning in
MLLMs.