InteractiveVideo : Génération de vidéos contrôlable centrée sur l'utilisateur avec des instructions multimodales synergiques

InteractiveVideo: User-Centric Controllable Video Generation with Synergistic Multimodal Instructions

February 5, 2024

Auteurs: Yiyuan Zhang, Yuhao Kang, Zhixin Zhang, Xiaohan Ding, Sanyuan Zhao, Xiangyu Yue

cs.AI

Résumé

Nous présentons InteractiveVideo, un cadre centré sur l'utilisateur pour la génération de vidéos. Contrairement aux approches génératives traditionnelles qui fonctionnent à partir d'images ou de textes fournis par l'utilisateur, notre cadre est conçu pour une interaction dynamique, permettant aux utilisateurs d'instruire le modèle génératif à travers divers mécanismes intuitifs tout au long du processus de génération, tels que des invites textuelles et visuelles, du dessin, du glisser-déposer, etc. Nous proposons un mécanisme d'Instruction Multimodale Synergétique, conçu pour intégrer de manière fluide les instructions multimodales des utilisateurs dans les modèles génératifs, facilitant ainsi une interaction coopérative et réactive entre les entrées utilisateur et le processus génératif. Cette approche permet un affinement itératif et granulaire du résultat de génération grâce à des instructions utilisateur précises et efficaces. Avec InteractiveVideo, les utilisateurs bénéficient de la flexibilité nécessaire pour ajuster méticuleusement les aspects clés d'une vidéo. Ils peuvent peindre l'image de référence, modifier la sémantique et ajuster les mouvements de la vidéo jusqu'à ce que leurs exigences soient pleinement satisfaites. Le code, les modèles et une démonstration sont disponibles à l'adresse suivante : https://github.com/invictus717/InteractiveVideo.

English

We introduce InteractiveVideo, a user-centric framework for video generation. Different from traditional generative approaches that operate based on user-provided images or text, our framework is designed for dynamic interaction, allowing users to instruct the generative model through various intuitive mechanisms during the whole generation process, e.g. text and image prompts, painting, drag-and-drop, etc. We propose a Synergistic Multimodal Instruction mechanism, designed to seamlessly integrate users' multimodal instructions into generative models, thus facilitating a cooperative and responsive interaction between user inputs and the generative process. This approach enables iterative and fine-grained refinement of the generation result through precise and effective user instructions. With InteractiveVideo, users are given the flexibility to meticulously tailor key aspects of a video. They can paint the reference image, edit semantics, and adjust video motions until their requirements are fully met. Code, models, and demo are available at https://github.com/invictus717/InteractiveVideo