VideoJev: 비디오 이해 및 상호작용을 위한 시스템 1 모델

VideoJev: System One Model for Video Understanding and Interaction

October 13, 2026

저자: Yuhan Zhu, Xiangyu Zeng, Qingyi Si, Chenxu Yang, Yifei Li, Luozheng Qin, Junhao Zhou, Dingyu Yao, Jun Zhang, Chuanyu Qin, Zhiqiu Zhang, Yuandong Yang, Yuqi Xu, Tianyu Zhang, Hongcheng Guo, Jiaqi Wang, Nan Duan, Limin Wang

cs.AI

초록

시각 에이전트는 진행 상황을 추적하고 다음에 무엇을 할지 선택하기 위해 비디오 관찰을 적시의 의사결정으로 전환해야 한다. 새롭게 부상하는 시스템 1 패러다임을 기반으로, 우리는 비디오 이해와 상호작용을 구조화된 의사결정 작업으로 규정하는 모델 계열인 VideoJev를 소개한다. 우리는 자기회귀적 답변 디코딩을 비디오 근거에 비추어 시간 구간과 텍스트 선택지에 점수를 부여하는 공유 헤드로 대체하여 사전학습된 멀티모달 대규모 언어 모델(MLLM)을 적응시킨다. 이 점수들은 이벤트 범위 또는 답변 선택지를 산출하여 시간적 그라운딩과 다지선다형 비디오 질의응답을 통합한다. 이는 MLLM의 의미적 유연성과 에이전트가 직접 사용할 수 있는 효율적 의사결정을 결합한다. 상호작용이 전개되면서 새로운 목표와 중간 결과는 동일한 시각 이력에 대한 추가 질의를 유발한다. 따라서 VideoJev는 질의가 도착할 때 수행하는 캐시 추론(Cached inference)과 단일 순전파에서 여러 질의를 처리하는 결합 추론(Joint inference)을 통해 시각 계산을 재사용한다. 세 가지 시간적 그라운딩 벤치마크에서 VideoJev-4B와 VideoJev-35B-A3B는 각각 백본 대비 평균 mIoU를 6.7점과 10.8점 향상시켰으며, 측정된 추론 속도 향상은 2.8~3.1배였다. 네 가지 비디오 QA 벤치마크에서 두 모델 모두 Thinking 모드에서 백본과 필적하는 성능을 달성했으며, 측정된 추론 속도 향상은 100배를 초과했다. 이러한 결과는 구조화된 시각 판단을 복잡하고 개방형인 워크플로로 구성하기 위한 통합적이고 재사용 가능한 의사결정 인터페이스를 제공한다.

English

Visual agents must turn video observations into timely decisions to track progress and choose what to do next. Building on the emerging System One paradigm, we introduce VideoJev, a family of models that cast video understanding and interaction as structured decision tasks. We adapt pretrained multimodal large language models (MLLMs) by replacing autoregressive answer decoding with a shared head that scores temporal intervals and textual options against video evidence. These scores yield event spans or answer choices, unifying temporal grounding and multiple-choice video question answering. This combines the semantic flexibility of MLLMs with efficient decisions that agents can use directly. As an interaction unfolds, new goals and intermediate results prompt further queries about the same visual history. VideoJev therefore reuses visual computation through Cached inference for queries as they arrive and Joint inference for multiple queries in a single forward pass. Across three temporal grounding benchmarks, VideoJev-4B and VideoJev-35B-A3B improve mean mIoU over their backbones by 6.7 and 10.8 points, respectively, with measured inference speedups of 2.8-3.1times. On four video QA benchmarks, both achieve performance comparable to their backbones in Thinking mode, with measured inference speedups exceeding 100times. These results offer a unified, reusable decision interface for composing structured visual judgments into complex, open-ended workflows.