LongVPO: Von verankerten Hinweisen zur Selbstlogik bei der Präferenzoptimierung langer Videos
LongVPO: From Anchored Cues to Self-Reasoning for Long-Form Video Preference Optimization
February 2, 2026
papers.authors: Zhenpeng Huang, Jiaqi Li, Zihan Jia, Xinhao Li, Desen Meng, Lingxue Song, Xi Chen, Liang Li, Limin Wang
cs.AI
papers.abstract
Wir stellen LongVPO vor, ein neuartiges zweistufiges Direct-Preference-Optimierung-Framework, das kurz-kontextuelle Vision-Sprach-Modelle in die Lage versetzt, ultra-lange Videos robust zu verstehen, ohne dass Annotationen für lange Videos erforderlich sind. In Stufe 1 synthetisieren wir Präferenztripel, indem wir Fragen an einzelne kurze Clips anbinden, diese mit Ablenkern verschachteln und visuelle Ähnlichkeits- sowie fragenspezifische Filterung anwenden, um Positionsverzerrung zu mindern und eine eindeutige Supervision zu gewährleisten. Zudem approximieren wir die Bewertung des Referenzmodells für lange Kontexte, indem wir nur den Anker-Clip auswerten, was den Rechenaufwand verringert. In Stufe 2 setzen wir eine rekursive Beschriftungspipeline für lange Videos ein, um Metadaten auf Szenenebene zu generieren, und nutzen dann ein großes Sprachmodell, um Mehr-Segment-Verständnisfragen und unerwünschte Antworten zu erstellen, wodurch die Präferenzen des Modells durch Mehr-Segment-Verstandesaufgaben ausgerichtet werden. Mit nur 16.000 synthetischen Beispielen und ohne kostspielige menschliche Annotationen übertrifft LongVPO die state-of-the-art Open-Source-Modelle in mehreren Benchmarks für lange Videos, während es gleichzeitig eine starke Leistung bei kurzen Videos beibehält (z.B. in MVBench), und bietet so ein skalierbares Paradigma für effizientes Langform-Videoverständnis.
English
We present LongVPO, a novel two-stage Direct Preference Optimization framework that enables short-context vision-language models to robustly understand ultra-long videos without any long-video annotations. In Stage 1, we synthesize preference triples by anchoring questions to individual short clips, interleaving them with distractors, and applying visual-similarity and question-specificity filtering to mitigate positional bias and ensure unambiguous supervision. We also approximate the reference model's scoring over long contexts by evaluating only the anchor clip, reducing computational overhead. In Stage 2, we employ a recursive captioning pipeline on long videos to generate scene-level metadata, then use a large language model to craft multi-segment reasoning queries and dispreferred responses, aligning the model's preferences through multi-segment reasoning tasks. With only 16K synthetic examples and no costly human labels, LongVPO outperforms the state-of-the-art open-source models on multiple long-video benchmarks, while maintaining strong short-video performance (e.g., on MVBench), offering a scalable paradigm for efficient long-form video understanding.