Videogenerationsmodelle sind universelle visuelle Lernmodelle.

Zusammenfassung

Angetrieben durch die Vorhersage des nächsten Tokens (Next-Token-Prädiktion) hat sich die NLP von aufgabenspezifischen Modellen hin zu leistungsstarken generalistischen Grundlagenmodellen entwickelt. Was ist dann der entsprechende Katalysator, um ein universelles Modell im Bereich der Computervision zu erreichen? In dieser Arbeit argumentieren wir, dass die groß angelegte Text-zu-Video-Generierung ein starkes Prätrainingsparadigma für die Computervision darstellt, das die notwendigen raumzeitlichen Priors, die Vision-Language-Ausrichtung und die Skalierbarkeit bietet, die für allgemeine visuelle Intelligenz erforderlich sind. Wir stellen GenCeption vor, das ein vortrainiertes Video-Generierungs-Diffusions-Backbone nutzt, um ein Feed-Forward-Wahrnehmungsmodell zu definieren, das in der Lage ist, verschiedene visuelle Aufgaben zu erfüllen, die durch Textanweisungen gesteuert werden. Empirische Ergebnisse zeigen, dass GenCeption bei einer Vielzahl von Aufgaben den neuesten Stand der Technik erreicht, darunter Tiefenschätzung, Oberflächennormalenschätzung und Kameraposenschätzung, ausdrucksbezogene Segmentierung und 3D-Schlüsselpunktschätzung, wobei es oft mit spezialisierten Modellen (z. B. DepthAnything3, SAM3, D4RT, VGGT-Omega, Sapiens, David, Genmo und Lotus-2) mithalten oder diese übertreffen kann. Darüber hinaus übertrifft das video-generativ vortrainierte Backbone alternative Prätrainingsparadigmen (z. B. V-JEPA und Video MAE) unter vergleichbaren Bedingungen. Wichtig ist, dass GenCeption vorläufige Daten- und Modellskalierungseigenschaften sowie eine außergewöhnliche Dateneffizienz aufweist, wobei es mit führenden Modellen wie D4RT und VGGT-Omega vergleichbare Leistungen mit 7- bis 500-mal weniger Trainingsdaten erzielt. Schließlich zeigt GenCeption auch faszinierende emergente Verhaltensweisen: Ein Modell, das ausschließlich mit synthetischen menschlichen Videos trainiert wurde, generalisiert auf reale Aufnahmen und außerhalb der Verteilung liegende Objektkategorien (z. B. Tiere und Roboter). Diese Ergebnisse deuten darauf hin, dass die Videogenerierung nicht nur ein Synthesewerkzeug ist, sondern ein grundlegender Weg zur generalistischen visuellen Intelligenz für die physische Welt. Projektseite: https://genception.github.io

English

Driven by next-token prediction, NLP shifted from task-specific models into powerful generalist foundation models. What, then, is the equivalent catalyst needed to achieve a general-purpose model in computer vision? In this paper, we contend that large-scale text-to-video generation serves as a strong pre-training paradigm for computer vision, providing the necessary spatiotemporal priors, vision-language alignment, and scalability required for general visual intelligence. We introduce GenCeption, which leverages a pre-trained video generative diffusion backbone to define a feed-forward perception model, capable of performing various vision tasks steered by text instructions. Empirical results demonstrate that GenCeption achieves state-of-the-art performance across a diverse suite of tasks, including depth, surface normal, and camera pose estimation, expression-referring segmentation, and 3D keypoint prediction, often matching or surpassing specialized models (e.g. DepthAnything3, SAM3, D4RT, VGGT-Omega, Sapiens, David, Genmo, and Lotus-2). Furthermore, the video generative pretrained backbone outperforms alternative pretraining paradigms (e.g., V-JEPA, and Video MAE) under comparable settings. Importantly, GenCeption exhibits preliminary data and model scaling properties along with exceptional data efficiency, where it achieves comparable performance with leading models like D4RT and VGGT-Omega with 7 to 500 less training data. Finally, GenCeption also exhibits intriguing emergent behaviors: a model trained exclusively on synthetic human videos generalizes to real-world footage and out-of-distribution object categories (e.g., animals and robots). These findings suggest that video generation is not merely a synthesis tool, but a foundational path toward generalist vision intelligence for the physical world. Project page: https://genception.github.io