InternVideo-Next: Rumo a Modelos Fundamentais de Vídeo Gerais sem Supervisão de Vídeo-Texto

InternVideo-Next: Towards General Video Foundation Models without Video-Text Supervision

December 1, 2025

Autores: Chenting Wang, Yuhan Zhu, Yicheng Xu, Jiange Yang, Ziang Yan, Yali Wang, Yi Wang, Limin Wang

cs.AI

Resumo

O pré-treinamento em larga escala com pares vídeo-texto alcança um forte desempenho, mas depende de legendas sintéticas e ruidosas com cobertura semântica limitada, frequentemente negligenciando conhecimento implícito do mundo, como movimento de objetos, geometria 3D e pistas físicas. Em contraste, a modelagem de vídeo mascarada (MVM) explora diretamente as estruturas espaço-temporais, mas fica atrás dos métodos supervisionados por texto em tarefas gerais. Descobrimos que essa lacuna surge de problemas arquitetónicos negligenciados: a reconstrução a nível de pixel luta com a convergência, e a sua exigência de baixo nível frequentemente entra em conflito com a semântica, enquanto a previsão em espaço latente frequentemente incentiva a aprendizagem por atalhos. Para resolver isso, separamos o design tradicional de codificador-decodificador numa estrutura Codificador-Preditor-Decodificador (EPD), onde o preditor atua como um modelo de mundo latente, e propomos o InternVideo-Next, um esquema de pré-treinamento em duas fases que constrói um espaço latente semanticamente consistente, mas que preserva detalhes, para este modelo de mundo. Primeiro, o decodificador linear convencional no MVM de pixel força o latente de saída do preditor a ser projetado linearmente para, e portanto separável no, espaço de pixel, causando o conflito com a abstração semântica. A nossa Fase 1 propõe um decodificador de difusão condicional e injeta *priors* semânticos confiáveis a nível de imagem para melhorar a semântica e a convergência, ligando assim a fidelidade a nível de pixel com a abstração semântica de alto nível. A Fase 2 aprende ainda mais conhecimento do mundo ao prever os alvos congelados da Fase 1 dentro deste espaço, mitigando a aprendizagem por atalhos. Treinado em vídeos públicos não rotulados, o InternVideo-Next alcança resultados state-of-the-art em várias benchmarks e fornece um caminho escalável para a aprendizagem de representação de vídeo geral.

English

Large-scale video-text pretraining achieves strong performance but depends on noisy, synthetic captions with limited semantic coverage, often overlooking implicit world knowledge such as object motion, 3D geometry, and physical cues. In contrast, masked video modeling (MVM) directly exploits spatiotemporal structures but trails text-supervised methods on general tasks. We find this gap arises from overlooked architectural issues: pixel-level reconstruction struggles with convergence and its low-level requirement often conflicts with semantics, while latent prediction often encourages shortcut learning. To address these, we disentangle the traditional encoder-decoder design into an Encoder-Predictor-Decoder (EPD) framework, where the predictor acts as a latent world model, and propose InternVideo-Next, a two-stage pretraining scheme that builds a semantically consistent yet detail-preserving latent space for this world model. First, conventional linear decoder in pixel MVM enforces the predictor output latent to be linearly projected to, thus separable in pixel space, causing the conflict with semantic abstraction. Our Stage 1 proposes a conditional diffusion decoder and injects reliable image-level semantic priors to enhance semantics and convergence, thus bridging pixel-level fidelity with high-level semantic abstraction. Stage 2 further learns world knowledge by predicting frozen Stage 1 targets within this space, mitigating shortcut learning. Trained on public, unlabeled videos, InternVideo-Next achieves state-of-the-art results across benchmarks and provides a scalable path toward general video representation learning.