FutureOmni: 멀티모드 LLM을 위한 전방위 모달 컨텍스트 기반 미래 예측 평가

FutureOmni: Evaluating Future Forecasting from Omni-Modal Context for Multimodal LLMs

January 20, 2026

저자: Qian Chen, Jinlan Fu, Changsong Li, See-Kiong Ng, Xipeng Qiu

cs.AI

초록

멀티모달 대규모 언어 모델(MLLMs)은 강력한 범모달(omni-modal) 인식 능력을 보여주지만, 시청각 단서로부터 미래 사건을 예측하는 능력은 기존 벤치마크가 주로 회고적 이해에 초점을 맞추고 있어 아직 크게 탐구되지 않았습니다. 이러한 격차를 해소하기 위해 우리는 시청각 환경에서의 범모달 미래 예측을 평가하기 위해 최초로 설계된 벤치마크인 FutureOmni를 소개합니다. 평가 대상 모델은 교차 모달 인과 관계 및 시간적 추론을 수행하고, 내부 지식을 효과적으로 활용하여 미래 사건을 예측해야 합니다. FutureOmni는 확장 가능한 LLM 지원, 인간 참여형(Human-in-the-loop) 파이프라인을 통해 구축되었으며, 8개 주요 도메인에 걸쳐 919개의 비디오와 1,034개의 객관식 QA 쌍을 포함합니다. 13개의 범모달 모델과 7개의 비디오 전용 모델에 대한 평가 결과, 현재 시스템들은 특히 음성이 많은 시나리오에서 시청각 미래 예측에 어려움을 겪으며, Gemini 3 Flash가 64.8%의 최고 정확도를 달성했습니다. 이러한 한계를 완화하기 위해 우리는 7,000개의 샘플로 구성된 지시 튜닝(instruction-tuning) 데이터셋을 구축하고 범모달 미래 예측(OFF) 훈련 전략을 제안합니다. FutureOmni 및 인기 있는 시청각 및 비디오 전용 벤치마크에 대한 평가 결과, OFF가 미래 예측 능력과 일반화 성능을 향상시킴을 입증했습니다. 우리는 모든 코드(https://github.com/OpenMOSS/FutureOmni)와 데이터셋(https://huggingface.co/datasets/OpenMOSS-Team/FutureOmni)을 공개합니다.

English

Although Multimodal Large Language Models (MLLMs) demonstrate strong omni-modal perception, their ability to forecast future events from audio-visual cues remains largely unexplored, as existing benchmarks focus mainly on retrospective understanding. To bridge this gap, we introduce FutureOmni, the first benchmark designed to evaluate omni-modal future forecasting from audio-visual environments. The evaluated models are required to perform cross-modal causal and temporal reasoning, as well as effectively leverage internal knowledge to predict future events. FutureOmni is constructed via a scalable LLM-assisted, human-in-the-loop pipeline and contains 919 videos and 1,034 multiple-choice QA pairs across 8 primary domains. Evaluations on 13 omni-modal and 7 video-only models show that current systems struggle with audio-visual future prediction, particularly in speech-heavy scenarios, with the best accuracy of 64.8% achieved by Gemini 3 Flash. To mitigate this limitation, we curate a 7K-sample instruction-tuning dataset and propose an Omni-Modal Future Forecasting (OFF) training strategy. Evaluations on FutureOmni and popular audio-visual and video-only benchmarks demonstrate that OFF enhances future forecasting and generalization. We publicly release all code (https://github.com/OpenMOSS/FutureOmni) and datasets (https://huggingface.co/datasets/OpenMOSS-Team/FutureOmni).