OmniVideo-R1: クエリ意図とモダリティ注意による視聴覚推論の強化

OmniVideo-R1: Reinforcing Audio-visual Reasoning with Query Intention and Modality Attention

February 5, 2026

著者: Zhangquan Chen, Jiale Tao, Ruihuang Li, Yihao Hu, Ruitao Chen, Zhantao Yang, Xinlei Yu, Haodong Jing, Manyuan Zhang, Shuai Shao, Biao Wang, Qinglin Lu, Ruqi Huang

cs.AI

要旨

人間は多様なモダリティを統合的に活用して周囲環境を包括的に理解するが、既存のオムニビデオモデルは視聴覚理解タスクにおいて依然として大きな課題に直面している。本論文では、複数モダリティ推論を強化する新規フレームワークOmniVideo-R1を提案する。本手法は2つの核心戦略により、モデルが「オムニモーダル手がかりを用いた思考」を実現する：(1)自己教師あり学習パラダイムに基づくクエリ集約的グラウンディング、(2)対照学習パラダイムに基づくモダリティ注意融合。複数ベンチマークによる大規模実験により、OmniVideo-R1が強力なベースラインを一貫して上回ることを実証し、その有効性と頑健な汎化能力を立証する。

English

While humans perceive the world through diverse modalities that operate synergistically to support a holistic understanding of their surroundings, existing omnivideo models still face substantial challenges on audio-visual understanding tasks. In this paper, we propose OmniVideo-R1, a novel reinforced framework that improves mixed-modality reasoning. OmniVideo-R1 empowers models to "think with omnimodal cues" by two key strategies: (1) query-intensive grounding based on self-supervised learning paradigms; and (2) modality-attentive fusion built upon contrastive learning paradigms. Extensive experiments on multiple benchmarks demonstrate that OmniVideo-R1 consistently outperforms strong baselines, highlighting its effectiveness and robust generalization capabilities.