LongVPO: Dalle Ancore Contestuali all'Auto-Ragionamento per l'Ottimizzazione delle Preferenze nei Video di Lunga Durata

LongVPO: From Anchored Cues to Self-Reasoning for Long-Form Video Preference Optimization

February 2, 2026

Autori: Zhenpeng Huang, Jiaqi Li, Zihan Jia, Xinhao Li, Desen Meng, Lingxue Song, Xi Chen, Liang Li, Limin Wang

cs.AI

Abstract

Presentiamo LongVPO, un nuovo framework di Ottimizzazione Diretta delle Preferenze a due stadi che consente a modelli visione-linguaggio a contesto breve di comprendere in modo robusto video ultra-lunghi senza alcuna annotazione di video lunghi. Nello Stadio 1, sintetizziamo triplette di preferenza ancorando domande a singoli clip brevi, intervallandoli con elementi di disturbo e applicando filtri di similarità visiva e specificità della domanda per mitigare il bias posizionale e garantire una supervisione inequivocabile. Approssimiamo inoltre il punteggio del modello di riferimento sui contesti lunghi valutando solo il clip di ancoraggio, riducendo il sovraccarico computazionale. Nello Stadio 2, impieghiamo una pipeline di captioning ricorsivo su video lunghi per generare metadati a livello di scena, quindi utilizziamo un grande modello linguistico per creare query di ragionamento multi-segmento e risposte non preferite, allineando le preferenze del modello attraverso compiti di ragionamento multi-segmento. Con soli 16.000 esempi sintetici e nessuna costosa etichettatura umana, LongVPO supera i modelli open-source all'avanguardia su molteplici benchmark per video lunghi, mantenendo al contempo solide prestazioni sui video brevi (ad esempio, su MVBench), offrendo un paradigma scalabile per una comprensione efficiente di video di lunga durata.

English

We present LongVPO, a novel two-stage Direct Preference Optimization framework that enables short-context vision-language models to robustly understand ultra-long videos without any long-video annotations. In Stage 1, we synthesize preference triples by anchoring questions to individual short clips, interleaving them with distractors, and applying visual-similarity and question-specificity filtering to mitigate positional bias and ensure unambiguous supervision. We also approximate the reference model's scoring over long contexts by evaluating only the anchor clip, reducing computational overhead. In Stage 2, we employ a recursive captioning pipeline on long videos to generate scene-level metadata, then use a large language model to craft multi-segment reasoning queries and dispreferred responses, aligning the model's preferences through multi-segment reasoning tasks. With only 16K synthetic examples and no costly human labels, LongVPO outperforms the state-of-the-art open-source models on multiple long-video benchmarks, while maintaining strong short-video performance (e.g., on MVBench), offering a scalable paradigm for efficient long-form video understanding.