Post-entraînement autorégressif adversarial pour la génération de vidéo interactive en temps réel

Résumé

Les modèles de génération vidéo à grande échelle existants sont intensifs en calcul, ce qui empêche leur adoption dans des applications en temps réel et interactives. Dans ce travail, nous proposons un post-entraînement adversariel autorégressif (AAPT) pour transformer un modèle de diffusion vidéo latente pré-entraîné en un générateur vidéo en temps réel et interactif. Notre modèle génère de manière autorégressive une image latente à la fois en utilisant une seule évaluation de fonction neuronale (1NFE). Le modèle peut diffuser le résultat à l'utilisateur en temps réel et recevoir des réponses interactives comme contrôles pour générer l'image latente suivante. Contrairement aux approches existantes, notre méthode explore l'entraînement adversariel comme un paradigme efficace pour la génération autorégressive. Cela nous permet non seulement de concevoir une architecture plus efficace pour la génération en une étape tout en exploitant pleinement le cache KV, mais aussi d'entraîner le modèle de manière à forcer l'étudiant, ce qui s'avère efficace pour réduire l'accumulation d'erreurs lors de la génération de vidéos longues. Nos expériences montrent que notre modèle de 8 milliards de paramètres atteint une génération vidéo en flux continu en temps réel à 24 images par seconde, avec une résolution de 736x416 sur un seul H100, ou 1280x720 sur 8xH100, jusqu'à une minute de durée (1440 images). Visitez notre site de recherche à l'adresse https://seaweed-apt.com/2.

English

Existing large-scale video generation models are computationally intensive, preventing adoption in real-time and interactive applications. In this work, we propose autoregressive adversarial post-training (AAPT) to transform a pre-trained latent video diffusion model into a real-time, interactive video generator. Our model autoregressively generates a latent frame at a time using a single neural function evaluation (1NFE). The model can stream the result to the user in real time and receive interactive responses as controls to generate the next latent frame. Unlike existing approaches, our method explores adversarial training as an effective paradigm for autoregressive generation. This not only allows us to design an architecture that is more efficient for one-step generation while fully utilizing the KV cache, but also enables training the model in a student-forcing manner that proves to be effective in reducing error accumulation during long video generation. Our experiments demonstrate that our 8B model achieves real-time, 24fps, streaming video generation at 736x416 resolution on a single H100, or 1280x720 on 8xH100 up to a minute long (1440 frames). Visit our research website at https://seaweed-apt.com/2

Post-entraînement autorégressif adversarial pour la génération de vidéo interactive en temps réel

Autoregressive Adversarial Post-Training for Real-Time Interactive Video Generation

Résumé

Support