InteractiveVideo: Benutzerzentrierte steuerbare Videogenerierung mit synergetischen multimodalen Anweisungen

InteractiveVideo: User-Centric Controllable Video Generation with Synergistic Multimodal Instructions

February 5, 2024

Autoren: Yiyuan Zhang, Yuhao Kang, Zhixin Zhang, Xiaohan Ding, Sanyuan Zhao, Xiangyu Yue

cs.AI

Zusammenfassung

Wir stellen InteractiveVideo vor, ein benutzerzentriertes Framework für die Videogenerierung. Im Gegensatz zu traditionellen generativen Ansätzen, die auf benutzerbereitgestellten Bildern oder Texten basieren, ist unser Framework für dynamische Interaktion konzipiert. Es ermöglicht Benutzern, das generative Modell während des gesamten Generierungsprozesses durch verschiedene intuitive Mechanismen zu steuern, wie z.B. Text- und Bildaufforderungen, Malen, Drag-and-Drop usw. Wir schlagen einen Synergistischen Multimodalen Instruktionsmechanismus vor, der darauf abzielt, die multimodalen Anweisungen der Benutzer nahtlos in generative Modelle zu integrieren und so eine kooperative und reaktionsschnelle Interaktion zwischen Benutzereingaben und dem Generierungsprozess zu fördern. Dieser Ansatz ermöglicht eine iterative und fein abgestimmte Verfeinerung des Generierungsergebnisses durch präzise und effektive Benutzeranweisungen. Mit InteractiveVideo erhalten Benutzer die Flexibilität, Schlüsselaspekte eines Videos detailliert anzupassen. Sie können das Referenzbild malen, Semantik bearbeiten und Videobewegungen anpassen, bis ihre Anforderungen vollständig erfüllt sind. Code, Modelle und eine Demo sind verfügbar unter https://github.com/invictus717/InteractiveVideo.

English

We introduce InteractiveVideo, a user-centric framework for video generation. Different from traditional generative approaches that operate based on user-provided images or text, our framework is designed for dynamic interaction, allowing users to instruct the generative model through various intuitive mechanisms during the whole generation process, e.g. text and image prompts, painting, drag-and-drop, etc. We propose a Synergistic Multimodal Instruction mechanism, designed to seamlessly integrate users' multimodal instructions into generative models, thus facilitating a cooperative and responsive interaction between user inputs and the generative process. This approach enables iterative and fine-grained refinement of the generation result through precise and effective user instructions. With InteractiveVideo, users are given the flexibility to meticulously tailor key aspects of a video. They can paint the reference image, edit semantics, and adjust video motions until their requirements are fully met. Code, models, and demo are available at https://github.com/invictus717/InteractiveVideo