InteractiveVideo: ユーザー中心の制御可能なビデオ生成と シナジスティックなマルチモーダル命令

InteractiveVideo: User-Centric Controllable Video Generation with Synergistic Multimodal Instructions

February 5, 2024

著者: Yiyuan Zhang, Yuhao Kang, Zhixin Zhang, Xiaohan Ding, Sanyuan Zhao, Xiangyu Yue

cs.AI

要旨

私たちは、ユーザー中心のビデオ生成フレームワークであるInteractiveVideoを紹介します。ユーザーが提供した画像やテキストに基づいて動作する従来の生成アプローチとは異なり、このフレームワークは動的なインタラクションを可能にするように設計されており、ユーザーが生成プロセス全体を通じてテキストや画像プロンプト、ペイント、ドラッグアンドドロップなどの直感的なメカニズムを通じて生成モデルに指示を出すことができます。私たちは、ユーザーのマルチモーダルな指示を生成モデルにシームレスに統合するためのSynergistic Multimodal Instructionメカニズムを提案し、ユーザー入力と生成プロセスの間の協調的で応答性の高いインタラクションを促進します。このアプローチにより、ユーザーの正確で効果的な指示を通じて生成結果を反復的かつ細かく調整することが可能になります。InteractiveVideoを使用することで、ユーザーはビデオの重要な側面を細かく調整する柔軟性を得ることができます。参照画像をペイントし、セマンティクスを編集し、ビデオの動きを調整して、要件が完全に満たされるまで作業を進めることができます。コード、モデル、デモはhttps://github.com/invictus717/InteractiveVideoで利用可能です。

English

We introduce InteractiveVideo, a user-centric framework for video generation. Different from traditional generative approaches that operate based on user-provided images or text, our framework is designed for dynamic interaction, allowing users to instruct the generative model through various intuitive mechanisms during the whole generation process, e.g. text and image prompts, painting, drag-and-drop, etc. We propose a Synergistic Multimodal Instruction mechanism, designed to seamlessly integrate users' multimodal instructions into generative models, thus facilitating a cooperative and responsive interaction between user inputs and the generative process. This approach enables iterative and fine-grained refinement of the generation result through precise and effective user instructions. With InteractiveVideo, users are given the flexibility to meticulously tailor key aspects of a video. They can paint the reference image, edit semantics, and adjust video motions until their requirements are fully met. Code, models, and demo are available at https://github.com/invictus717/InteractiveVideo