InteractiveVideo: Geração de Vídeo Controlável Centrada no Usuário com Instruções Multimodais Sinérgicas

InteractiveVideo: User-Centric Controllable Video Generation with Synergistic Multimodal Instructions

February 5, 2024

Autores: Yiyuan Zhang, Yuhao Kang, Zhixin Zhang, Xiaohan Ding, Sanyuan Zhao, Xiangyu Yue

cs.AI

Resumo

Apresentamos o InteractiveVideo, uma estrutura centrada no usuário para geração de vídeos. Diferente das abordagens generativas tradicionais que operam com base em imagens ou textos fornecidos pelo usuário, nossa estrutura foi projetada para interação dinâmica, permitindo que os usuários instruam o modelo generativo por meio de diversos mecanismos intuitivos durante todo o processo de geração, como prompts de texto e imagem, pintura, arrastar e soltar, etc. Propomos um mecanismo de Instrução Multimodal Sinérgica, projetado para integrar de forma contínua as instruções multimodais dos usuários em modelos generativos, facilitando assim uma interação cooperativa e responsiva entre as entradas do usuário e o processo generativo. Essa abordagem permite o refinamento iterativo e granular do resultado da geração por meio de instruções precisas e eficazes do usuário. Com o InteractiveVideo, os usuários têm a flexibilidade de ajustar meticulosamente aspectos-chave de um vídeo. Eles podem pintar a imagem de referência, editar semânticas e ajustar os movimentos do vídeo até que seus requisitos sejam totalmente atendidos. Código, modelos e demonstração estão disponíveis em https://github.com/invictus717/InteractiveVideo.

English

We introduce InteractiveVideo, a user-centric framework for video generation. Different from traditional generative approaches that operate based on user-provided images or text, our framework is designed for dynamic interaction, allowing users to instruct the generative model through various intuitive mechanisms during the whole generation process, e.g. text and image prompts, painting, drag-and-drop, etc. We propose a Synergistic Multimodal Instruction mechanism, designed to seamlessly integrate users' multimodal instructions into generative models, thus facilitating a cooperative and responsive interaction between user inputs and the generative process. This approach enables iterative and fine-grained refinement of the generation result through precise and effective user instructions. With InteractiveVideo, users are given the flexibility to meticulously tailor key aspects of a video. They can paint the reference image, edit semantics, and adjust video motions until their requirements are fully met. Code, models, and demo are available at https://github.com/invictus717/InteractiveVideo