VideoKR: 知識および推論集約型ビデオ理解に向けて

要旨

我々はVideoKRを提案する。これは、知識と推論を重視したビデオ理解を強化するために特別に設計された、初の大規模訓練コーパスである。本コーパスは、新たに収集されたCCライセンス付き専門家領域の145,000本のビデオを基に、315,000件のビデオ推論事例で構成される。我々は、事例とそのCoT推論過程の難易度、多様性、信頼性を確保しつつ、段階的に深層的なビデオ推論能力を対象とする、人間参加型でスキル指向の事例生成パイプラインを開発した。また、新たな専門家注釈付きベンチマークVideoKR-Evalを整備した。このベンチマークでは、質問がテキスト上の近道ではなく、真のビデオ理解と知識集約型推論を必要とする。実験結果から、標準的なSFT→GRPOパイプラインの下で、VideoKRを用いて事後学習されたモデルは、知識集約型ビデオ推論において既存の事後学習手法を上回り、かつ一般的なビデオ推論においても競争力を維持することが示された。これは、ビデオ推論の進歩におけるデータ設計の重要な役割を浮き彫りにする。さらに、VideoKRの寄与を切り分ける包括的なアブレーション研究を実施し、今後の研究に実用的な洞察を提供する。

English

We introduce VideoKR, the first large-scale training corpus specifically designed to strengthen knowledge- and reasoning-intensive video understanding. It comprises 315K video reasoning examples over 145K newly collected, CC-licensed, expert-domain videos. We develop a human-in-the-loop, skill-oriented example generation pipeline that targets progressively deeper video reasoning capabilities while ensuring the difficulty, diversity, and reliability of both the examples and their CoT rationales. We also curate VideoKR-Eval, a new expert-annotated benchmark where questions require genuine video understanding and knowledge-intensive reasoning rather than textual shortcuts. Our experiments show that, under a standard SFTrightarrowGRPO pipeline, models post-trained on VideoKR outperform prior post-training approaches on knowledge-intensive video reasoning while remaining competitive on general video reasoning, highlighting data design as a key driver of progress in video reasoning. We further conduct comprehensive ablations to isolate the contributions of VideoKR, providing actionable insights for future work.