FutureOmni: Bewertung der Zukunftsvorhersage aus omni-modalen Kontexten für multimodale große Sprachmodelle

FutureOmni: Evaluating Future Forecasting from Omni-Modal Context for Multimodal LLMs

January 20, 2026

papers.authors: Qian Chen, Jinlan Fu, Changsong Li, See-Kiong Ng, Xipeng Qiu

cs.AI

papers.abstract

Obwohl Multimodale Große Sprachmodelle (MLLMs) eine starke omnimodale Wahrnehmung demonstrieren, bleibt ihre Fähigkeit, zukünftige Ereignisse aus audiovisuellen Hinweisen vorherzusagen, weitgehend unerforscht, da sich bestehende Benchmarks hauptsächlich auf retrospektives Verständnis konzentrieren. Um diese Lücke zu schließen, stellen wir FutureOmni vor, den ersten Benchmark, der zur Bewertung der omnimodalen Zukunftsprognose aus audiovisuellen Umgebungen entwickelt wurde. Die evaluierten Modelle müssen kreuzmodale kausale und zeitliche Schlussfolgerungen durchführen sowie internes Wissen effektiv nutzen, um zukünftige Ereignisse vorherzusagen. FutureOmni wird über eine skalierbare, LLM-unterstützte Pipeline mit Human-in-the-Loop konstruiert und umfasst 919 Videos und 1.034 Multiple-Choice-Frage-Antwort-Paare aus 8 Hauptdomänen. Evaluationen an 13 omnimodalen und 7 rein videobasierten Modellen zeigen, dass aktuelle Systeme mit audiovisueller Zukunftsprognose kämpfen, insbesondere in sprachlastigen Szenarien, wobei die beste Genauigkeit von 64,8 % von Gemini 3 Flash erreicht wird. Um diese Einschränkung zu mildern, stellen wir einen Instruction-Tuning-Datensatz mit 7.000 Beispielen zusammen und schlagen eine Trainingsstrategie zur Ominmodalen Zukunftsprognose (OFF) vor. Evaluationen auf FutureOmni und beliebten audiovisuellen sowie rein videobasierten Benchmarks demonstrieren, dass OFF die Zukunftsprognose und Generalisierungsfähigkeit verbessert. Wir veröffentlichen allen Code (https://github.com/OpenMOSS/FutureOmni) und alle Datensätze (https://huggingface.co/datasets/OpenMOSS-Team/FutureOmni) öffentlich.

English

Although Multimodal Large Language Models (MLLMs) demonstrate strong omni-modal perception, their ability to forecast future events from audio-visual cues remains largely unexplored, as existing benchmarks focus mainly on retrospective understanding. To bridge this gap, we introduce FutureOmni, the first benchmark designed to evaluate omni-modal future forecasting from audio-visual environments. The evaluated models are required to perform cross-modal causal and temporal reasoning, as well as effectively leverage internal knowledge to predict future events. FutureOmni is constructed via a scalable LLM-assisted, human-in-the-loop pipeline and contains 919 videos and 1,034 multiple-choice QA pairs across 8 primary domains. Evaluations on 13 omni-modal and 7 video-only models show that current systems struggle with audio-visual future prediction, particularly in speech-heavy scenarios, with the best accuracy of 64.8% achieved by Gemini 3 Flash. To mitigate this limitation, we curate a 7K-sample instruction-tuning dataset and propose an Omni-Modal Future Forecasting (OFF) training strategy. Evaluations on FutureOmni and popular audio-visual and video-only benchmarks demonstrate that OFF enhances future forecasting and generalization. We publicly release all code (https://github.com/OpenMOSS/FutureOmni) and datasets (https://huggingface.co/datasets/OpenMOSS-Team/FutureOmni).