VideoKR: Auf dem Weg zu wissens- und schlussfolgerungsintensivem Video-Verständnis

Zusammenfassung

Wir stellen VideoKR vor, das erste große Trainingskorpus, das speziell für die Stärkung des wissens- und schlussfolgerungsintensiven Videoverständnisses entwickelt wurde. Es umfasst 315.000 Video-Argumentationsbeispiele, die auf 145.000 neu gesammelten, CC-lizenzierten Videos aus Expertenbereichen basieren. Wir entwickeln eine menschen-in-der-Schleife, fähigkeitsorientierte Beispielgenerierungspipeline, die auf zunehmend tiefere Video-Argumentationsfähigkeiten abzielt und gleichzeitig die Schwierigkeit, Vielfalt und Zuverlässigkeit sowohl der Beispiele als auch ihrer CoT-Begründungen sicherstellt. Wir kuratieren zudem VideoKR-Eval, einen neuen, von Experten annotierten Benchmark, bei dem Fragen echtes Videoverständnis und wissensintensive Argumentation erfordern, anstatt textuelle Abkürzungen zu nutzen. Unsere Experimente zeigen, dass Modelle, die unter einer standardisierten SFTrightarrowGRPO-Pipeline auf VideoKR nachtrainiert wurden, frühere Post-Training-Ansätze bei wissensintensiver Video-Argumentation übertreffen und gleichzeitig bei allgemeiner Video-Argumentation wettbewerbsfähig bleiben, was die Datenauswahl als entscheidenden Treiber für Fortschritte in der Video-Argumentation hervorhebt. Wir führen weiterhin umfassende Ablationsstudien durch, um die Beiträge von VideoKR zu isolieren, und liefern so umsetzbare Erkenntnisse für zukünftige Arbeiten.

English

We introduce VideoKR, the first large-scale training corpus specifically designed to strengthen knowledge- and reasoning-intensive video understanding. It comprises 315K video reasoning examples over 145K newly collected, CC-licensed, expert-domain videos. We develop a human-in-the-loop, skill-oriented example generation pipeline that targets progressively deeper video reasoning capabilities while ensuring the difficulty, diversity, and reliability of both the examples and their CoT rationales. We also curate VideoKR-Eval, a new expert-annotated benchmark where questions require genuine video understanding and knowledge-intensive reasoning rather than textual shortcuts. Our experiments show that, under a standard SFTrightarrowGRPO pipeline, models post-trained on VideoKR outperform prior post-training approaches on knowledge-intensive video reasoning while remaining competitive on general video reasoning, highlighting data design as a key driver of progress in video reasoning. We further conduct comprehensive ablations to isolate the contributions of VideoKR, providing actionable insights for future work.