VideoJev: 動画理解とインタラクションのためのシステム1モデル

VideoJev: System One Model for Video Understanding and Interaction

October 13, 2026

著者: Yuhan Zhu, Xiangyu Zeng, Qingyi Si, Chenxu Yang, Yifei Li, Luozheng Qin, Junhao Zhou, Dingyu Yao, Jun Zhang, Chuanyu Qin, Zhiqiu Zhang, Yuandong Yang, Yuqi Xu, Tianyu Zhang, Hongcheng Guo, Jiaqi Wang, Nan Duan, Limin Wang

cs.AI

要旨

視覚エージェントは、映像観測をタイムリーな意思決定に変え、進捗を追跡して次に何を行うかを選択する必要がある。新興のSystem Oneパラダイムに基づき、我々はVideoJevを導入する。これは映像理解とインタラクションを構造化された意思決定タスクとして捉えるモデル群である。我々は、自己回帰的な回答デコーディングを、映像証拠に対して時間区間とテキスト選択肢をスコア付けする共有ヘッドに置き換えることで、事前学習済みマルチモーダル大規模言語モデル（MLLM）を適応させる。これらのスコアはイベント区間または回答選択肢を生成し、時間的グラウンディングと多肢選択式映像質問応答を統合する。これにより、MLLMの意味的な柔軟性と、エージェントが直接利用できる効率的な意思決定を組み合わせる。インタラクションが進行するにつれて、新しい目標や中間結果が、同じ視覚履歴に関するさらなるクエリを促す。したがってVideoJevは、到着するクエリに対するCached推論と、単一の順伝播で複数クエリを処理するJoint推論を通じて、視覚計算を再利用する。3つの時間的グラウンディングベンチマークにおいて、VideoJev-4BとVideoJev-35B-A3Bは、それぞれバックボーンと比べて平均mIoUを6.7ポイントおよび10.8ポイント改善し、測定された推論速度向上は2.8～3.1倍であった。4つの映像QAベンチマークでは、両者ともThinkingモードにおいてバックボーンと同等の性能を達成し、測定された推論速度向上は100倍を超えた。これらの結果は、構造化された視覚的判断を複雑でオープンエンドなワークフローへと組み立てるための、統一された再利用可能な意思決定インターフェースを提供する。

English

Visual agents must turn video observations into timely decisions to track progress and choose what to do next. Building on the emerging System One paradigm, we introduce VideoJev, a family of models that cast video understanding and interaction as structured decision tasks. We adapt pretrained multimodal large language models (MLLMs) by replacing autoregressive answer decoding with a shared head that scores temporal intervals and textual options against video evidence. These scores yield event spans or answer choices, unifying temporal grounding and multiple-choice video question answering. This combines the semantic flexibility of MLLMs with efficient decisions that agents can use directly. As an interaction unfolds, new goals and intermediate results prompt further queries about the same visual history. VideoJev therefore reuses visual computation through Cached inference for queries as they arrive and Joint inference for multiple queries in a single forward pass. Across three temporal grounding benchmarks, VideoJev-4B and VideoJev-35B-A3B improve mean mIoU over their backbones by 6.7 and 10.8 points, respectively, with measured inference speedups of 2.8-3.1times. On four video QA benchmarks, both achieve performance comparable to their backbones in Thinking mode, with measured inference speedups exceeding 100times. These results offer a unified, reusable decision interface for composing structured visual judgments into complex, open-ended workflows.