LongVPO: De Pistas Ancoradas à Autorreflexão para a Otimização de Preferências em Vídeos Longos
LongVPO: From Anchored Cues to Self-Reasoning for Long-Form Video Preference Optimization
February 2, 2026
Autores: Zhenpeng Huang, Jiaqi Li, Zihan Jia, Xinhao Li, Desen Meng, Lingxue Song, Xi Chen, Liang Li, Limin Wang
cs.AI
Resumo
Apresentamos o LongVPO, uma nova estrutura de Otimização Direta de Preferências em dois estágios que permite a modelos visão-linguagem de contexto curto compreenderem vídeos ultra-longos de forma robusta, sem qualquer anotação de vídeos longos. No Estágio 1, sintetizamos triplas de preferência ancorando perguntas a clipes curtos individuais, intercalando-os com elementos de distração e aplicando filtros de similaridade visual e especificidade da pergunta para mitigar o viés posicional e garantir supervisão inequívoca. Também aproximamos a pontuação do modelo de referência em contextos longos avaliando apenas o clipe âncora, reduzindo a sobrecarga computacional. No Estágio 2, empregamos um pipeline de legendagem recursiva em vídeos longos para gerar metadados em nível de cena e, em seguida, usamos um modelo de linguagem grande para criar consultas de raciocínio multi-segmento e respostas indesejadas, alinhando as preferências do modelo por meio de tarefas de raciocínio multi-segmento. Com apenas 16 mil exemplos sintéticos e sem rótulos humanos dispendiosos, o LongVPO supera os modelos de código aberto mais avançados em múltiplos benchmarks de vídeos longos, mantendo um desempenho forte em vídeos curtos (por exemplo, no MVBench), oferecendo um paradigma escalável para uma compreensão eficiente de vídeos de longa duração.
English
We present LongVPO, a novel two-stage Direct Preference Optimization framework that enables short-context vision-language models to robustly understand ultra-long videos without any long-video annotations. In Stage 1, we synthesize preference triples by anchoring questions to individual short clips, interleaving them with distractors, and applying visual-similarity and question-specificity filtering to mitigate positional bias and ensure unambiguous supervision. We also approximate the reference model's scoring over long contexts by evaluating only the anchor clip, reducing computational overhead. In Stage 2, we employ a recursive captioning pipeline on long videos to generate scene-level metadata, then use a large language model to craft multi-segment reasoning queries and dispreferred responses, aligning the model's preferences through multi-segment reasoning tasks. With only 16K synthetic examples and no costly human labels, LongVPO outperforms the state-of-the-art open-source models on multiple long-video benchmarks, while maintaining strong short-video performance (e.g., on MVBench), offering a scalable paradigm for efficient long-form video understanding.