Controle de Movimento para Geração Aprimorada de Vídeos de Ação Complexa

Motion Control for Enhanced Complex Action Video Generation

November 13, 2024

Autores: Qiang Zhou, Shaofeng Zhang, Nianzu Yang, Ye Qian, Hao Li

cs.AI

Resumo

Os modelos existentes de texto-para-vídeo (T2V) frequentemente enfrentam dificuldades em gerar vídeos com ações suficientemente pronunciadas ou complexas. Uma limitação chave reside na incapacidade do prompt de texto em transmitir precisamente detalhes de movimento intricados. Para abordar isso, propomos um novo framework, MVideo, projetado para produzir vídeos de longa duração com ações precisas e fluidas. MVideo supera as limitações dos prompts de texto ao incorporar sequências de máscaras como uma entrada adicional de condição de movimento, fornecendo uma representação mais clara e precisa das ações pretendidas. Aproveitando modelos visuais fundamentais como GroundingDINO e SAM2, o MVideo gera automaticamente sequências de máscaras, aprimorando tanto a eficiência quanto a robustez. Nossos resultados demonstram que, após o treinamento, o MVideo alinha efetivamente os prompts de texto com as condições de movimento para produzir vídeos que atendem simultaneamente a ambos os critérios. Esse mecanismo de controle duplo permite uma geração de vídeo mais dinâmica, possibilitando alterações no prompt de texto ou na condição de movimento de forma independente, ou ambos em conjunto. Além disso, o MVideo suporta a edição e composição de condições de movimento, facilitando a geração de vídeos com ações mais complexas. Dessa forma, o MVideo avança na geração de movimento T2V, estabelecendo um forte referencial para uma representação aprimorada de ações nos modelos de difusão de vídeo atuais. Nossa página do projeto está disponível em https://mvideo-v1.github.io/.

English

Existing text-to-video (T2V) models often struggle with generating videos with sufficiently pronounced or complex actions. A key limitation lies in the text prompt's inability to precisely convey intricate motion details. To address this, we propose a novel framework, MVideo, designed to produce long-duration videos with precise, fluid actions. MVideo overcomes the limitations of text prompts by incorporating mask sequences as an additional motion condition input, providing a clearer, more accurate representation of intended actions. Leveraging foundational vision models such as GroundingDINO and SAM2, MVideo automatically generates mask sequences, enhancing both efficiency and robustness. Our results demonstrate that, after training, MVideo effectively aligns text prompts with motion conditions to produce videos that simultaneously meet both criteria. This dual control mechanism allows for more dynamic video generation by enabling alterations to either the text prompt or motion condition independently, or both in tandem. Furthermore, MVideo supports motion condition editing and composition, facilitating the generation of videos with more complex actions. MVideo thus advances T2V motion generation, setting a strong benchmark for improved action depiction in current video diffusion models. Our project page is available at https://mvideo-v1.github.io/.