InternVideo-Next: Auf dem Weg zu universellen Video-Foundation-Modellen ohne Video-Text-Aufsicht
InternVideo-Next: Towards General Video Foundation Models without Video-Text Supervision
December 1, 2025
papers.authors: Chenting Wang, Yuhan Zhu, Yicheng Xu, Jiange Yang, Ziang Yan, Yali Wang, Yi Wang, Limin Wang
cs.AI
papers.abstract
Großmaßstäbliches Video-Text-Pretraining erzielt hohe Leistung, beruht jedoch auf verrauschten, synthetischen Beschreibungen mit begrenzter semantischer Abdeckung, die oft implizites Weltwissen wie Objektbewegung, 3D-Geometrie und physikalische Hinweise vernachlässigen. Im Gegensatz dazu nutzt maskierte Videomodellierung (MVM) direkt räumlich-zeitliche Strukturen, bleibt aber bei allgemeinen Aufgaben hinter textüberwachten Methoden zurück. Wir stellen fest, dass diese Lücke auf übersehene Architekturprobleme zurückzuführen ist: Pixelrekonstruktion kämpft mit Konvergenzproblemen und ihr niedrigschwelliger Anspruch kollidiert oft mit Semantik, während latente Vorhersage häufig Kurzschlusslernen begünstigt. Um dies zu adressieren, entwirren wir das traditionelle Encoder-Decoder-Design in ein Encoder-Predictor-Decoder (EPD)-Framework, wobei der Predictor als latentes Weltmodell fungiert, und schlagen InternVideo-Next vor, ein zweistufiges Pretraining-Schema, das einen semantisch konsistenten, aber detailerhaltenden latenten Raum für dieses Weltmodell aufbaut. Erstens erzwingt der konventionelle lineare Decoder in der Pixel-MVM, dass der latente Output des Predictors linear projiziert und somit im Pixelraum trennbar ist, was den Konflikt mit semantischer Abstraktion verursacht. Unser Stadium 1 schlägt einen bedingten Diffusionsdecoder vor und injiziert zuverlässige semantische Priori auf Bildebene, um Semantik und Konvergenz zu verbessern und so Pixelgenauigkeit mit hochgradiger semantischer Abstraktion zu überbrücken. Stadium 2 lernt weiteres Weltwissen durch Vorhersage eingefrorener Ziele aus Stadium 1 innerhalb dieses Raums und mildert Kurzschlusslernen. Auf öffentlichen, ungelabelten Videos trainiert, erzielt InternVideo-Next state-of-the-art Ergebnisse über Benchmarks hinweg und bietet einen skalierbaren Weg hin zu allgemeinem Videorepräsentationslernen.
English
Large-scale video-text pretraining achieves strong performance but depends on noisy, synthetic captions with limited semantic coverage, often overlooking implicit world knowledge such as object motion, 3D geometry, and physical cues. In contrast, masked video modeling (MVM) directly exploits spatiotemporal structures but trails text-supervised methods on general tasks. We find this gap arises from overlooked architectural issues: pixel-level reconstruction struggles with convergence and its low-level requirement often conflicts with semantics, while latent prediction often encourages shortcut learning. To address these, we disentangle the traditional encoder-decoder design into an Encoder-Predictor-Decoder (EPD) framework, where the predictor acts as a latent world model, and propose InternVideo-Next, a two-stage pretraining scheme that builds a semantically consistent yet detail-preserving latent space for this world model. First, conventional linear decoder in pixel MVM enforces the predictor output latent to be linearly projected to, thus separable in pixel space, causing the conflict with semantic abstraction. Our Stage 1 proposes a conditional diffusion decoder and injects reliable image-level semantic priors to enhance semantics and convergence, thus bridging pixel-level fidelity with high-level semantic abstraction. Stage 2 further learns world knowledge by predicting frozen Stage 1 targets within this space, mitigating shortcut learning. Trained on public, unlabeled videos, InternVideo-Next achieves state-of-the-art results across benchmarks and provides a scalable path toward general video representation learning.