StreamOPD: 스트리밍 비디오 이해를 위한 시공간적 큐 게이팅 기반 사후 훈련 방법

초록

스트리밍 비디오 이해는 진행 중인 비디오의 인과적으로 관찰된 접두사(prefix)로부터 직접적인 응답을 요구한다. 기존 시스템들은 추론 시 메모리, 검색, 압축을 추가하지만, 학습이 필요 없는 슬라이딩 윈도우 기준선(baseline)이 이미 이들을 능가한다. 따라서 우리는 메모리가 없는 최근-윈도우 프로토콜을 고정하고, 사후 훈련(post-training)만으로 어느 정도까지 발전할 수 있는지 질문한다. 검증 가능한 보상(verifiable rewards)을 이용한 강화 학습은 긴 "사고 후 응답(think-then-answer)" 생성을 장려하는 방식으로 이 체제에 부적합하며, 온-정책 증류(OPD, on-policy distillation)는 학생 궤적에 대해 토큰 수준의 조밀한 교사 지도 신호를 제공하지만 두 모델 모두 사고 모드(thinking mode)로 훈련될 때만 안정적이다. 이러한 관찰들을 바탕으로, 검증 가능한 스트리밍 비디오 데이터, 사고 모드 OPD, 지시 모드 배포(instruct-mode deployment)를 결합한 레시피인 StreamOPD를 제안한다. StreamOPD는 StreamingBench에서 77.9%에서 83.9%로 성능을 향상시키며, 이는 9B 교사 모델과의 격차를 0.3포인트 이내로 줄인 것이며, 추론 조건을 변경하지 않은 채 환각 탐지 하위 태스크(HLD)를 제외한 OVO-Bench에서 9.1포인트를 향상시킨다. 교사 특권(teacher-privilege) 확장으로서, Spatio-Temporal CueGate(ST-CueGate)는 단서 유무에 따른 교사 우도비(likelihood ratios)를 집계하여 집단-상대 응답 점수(group-relative response score)를 생성하고 OPD의 가중치를 재조정한다. 이 방법은 OVO-Bench(HLD 제외)에서 71.9%, Video-MME에서 64.9%를 달성하며, 네 벤치마크 모두에서 기본 모델보다 높은 성능을 유지하는 유일한 변형이다. 교사를 학생의 초기 정책을 동결한 사본으로 대체하는 온-정책 자기 증류(on-policy self-distillation)는 이러한 성능 향상의 대부분을 유지하면서 HLD를 57.0%로 끌어올려, 훈련 전 학생과 9B 교사 모델을 모두 능가한다. 따라서 기권 손실(abstention loss)은 이 레시피에 내재적이지 않다. 우리는 오픈소스 스트리밍 비디오 연구를 위한 투명하고 재현 가능한 참조 자료를 제공한다.

English

Streaming video understanding demands direct responses from the causally observed prefix of an unfolding video. Existing systems add inference-time memory, retrieval, and compression, yet a training-free sliding-window baseline already matches them. We therefore fix a memory-free recent-window protocol and ask how far post-training alone can go. Reinforcement learning with verifiable rewards fits this regime poorly, encouraging long ``think-then-answer'' generations, while on-policy distillation (OPD) supplies dense token-level teacher supervision on student trajectories but is stable only when both models train in thinking mode. These observations lead to StreamOPD, a recipe combining verifiable streaming-video data, thinking-mode OPD, and instruct-mode deployment. It raises StreamingBench from 77.9% to 83.9%---within 0.3 points of the 9B teacher---and improves OVO-Bench excluding its hallucination-detection subtask (HLD) by 9.1 points under unchanged inference. As a teacher-privilege extension, Spatio-Temporal CueGate (ST-CueGate) aggregates cue-versus-no-cue teacher likelihood ratios into a group-relative response score that reweights OPD. It reaches 71.9% on OVO-Bench (excluding HLD) and 64.9% on Video-MME, and is the only variant that stays above the base model on all four benchmarks. Replacing the teacher with a frozen copy of the student's initial policy---on-policy self-distillation---retains most of these gains and lifts HLD to 57.0%, above both the untrained student and the 9B teacher, so abstention loss is not intrinsic to the recipe. We provide a transparent and reproducible reference for open-source streaming-video research.