InternVideo-Next: Op weg naar algemene videofundamentmodellen zonder video-tekstsupervisie
InternVideo-Next: Towards General Video Foundation Models without Video-Text Supervision
December 1, 2025
Auteurs: Chenting Wang, Yuhan Zhu, Yicheng Xu, Jiange Yang, Ziang Yan, Yali Wang, Yi Wang, Limin Wang
cs.AI
Samenvatting
Grootschalige video-tekstvoorpretraining bereikt sterke prestaties, maar is afhankelijk van lawaaierige, synthetische bijschriften met beperkte semantische dekking, waarbij vaak impliciete wereldkennis zoals objectbeweging, 3D-geometrie en fysieke aanwijzingen over het hoofd wordt gezien. Masked Video Modeling (MVM) daarentegen benut direct spatiotemporele structuren, maar blijft achter bij tekstgesuperviseerde methoden voor algemene taken. Wij constateren dat deze kloof voortkomt uit over het hoofd geziene architectuurproblemen: reconstructie op pixelniveau worstelt met convergentie en de low-level vereisten conflicteren vaak met semantiek, terwijl latente voorspelling vaak shortcut learning aanmoedigt. Om dit aan te pakken, ontwarren we het traditionele encoder-decoder-ontwerp in een Encoder-Predictor-Decoder (EPD)-raamwerk, waarbij de predictor fungeert als een latent wereldmodel, en stellen we InternVideo-Next voor, een tweefasen voorpretrainingsschema dat een semantisch consistente maar detailbewarende latente ruimte voor dit wereldmodel construeert. Ten eerste dwingt een conventionele lineaire decoder in pixel-MVM dat de predictoruitvoer lineair geprojecteerd kan worden naar, en dus scheidbaar is in, de pixelruimte, wat het conflict met semantische abstractie veroorzaakt. Onze Fase 1 stelt een conditionele diffusiedecoder voor en injecteert betrouwbare semantische priors op beeldniveau om semantiek en convergentie te verbeteren, waardoor pixelgetrouwheid met hoogwaardige semantische abstractie wordt verbonden. Fase 2 leert verder wereldkennis door bevroren doelen uit Fase 1 binnen deze ruimte te voorspellen, waardoor shortcut learning wordt verminderd. Getraind op openbare, ongelabelde video's behaalt InternVideo-Next state-of-the-art resultaten op diverse benchmarks en biedt een schaalbaar pad naar algemene videorepresentatieleren.
English
Large-scale video-text pretraining achieves strong performance but depends on noisy, synthetic captions with limited semantic coverage, often overlooking implicit world knowledge such as object motion, 3D geometry, and physical cues. In contrast, masked video modeling (MVM) directly exploits spatiotemporal structures but trails text-supervised methods on general tasks. We find this gap arises from overlooked architectural issues: pixel-level reconstruction struggles with convergence and its low-level requirement often conflicts with semantics, while latent prediction often encourages shortcut learning. To address these, we disentangle the traditional encoder-decoder design into an Encoder-Predictor-Decoder (EPD) framework, where the predictor acts as a latent world model, and propose InternVideo-Next, a two-stage pretraining scheme that builds a semantically consistent yet detail-preserving latent space for this world model. First, conventional linear decoder in pixel MVM enforces the predictor output latent to be linearly projected to, thus separable in pixel space, causing the conflict with semantic abstraction. Our Stage 1 proposes a conditional diffusion decoder and injects reliable image-level semantic priors to enhance semantics and convergence, thus bridging pixel-level fidelity with high-level semantic abstraction. Stage 2 further learns world knowledge by predicting frozen Stage 1 targets within this space, mitigating shortcut learning. Trained on public, unlabeled videos, InternVideo-Next achieves state-of-the-art results across benchmarks and provides a scalable path toward general video representation learning.