Boximator: Gerando Movimentos Ricos e Controláveis para Síntese de Vídeo

Boximator: Generating Rich and Controllable Motions for Video Synthesis

February 2, 2024

Autores: Jiawei Wang, Yuchen Zhang, Jiaxin Zou, Yan Zeng, Guoqiang Wei, Liping Yuan, Hang Li

cs.AI

Resumo

Gerar movimentos ricos e controláveis é um desafio fundamental na síntese de vídeo. Propomos o Boximator, uma nova abordagem para controle de movimento de alta granularidade. O Boximator introduz dois tipos de restrições: caixa rígida e caixa flexível. Os usuários selecionam objetos no quadro condicional usando caixas rígidas e, em seguida, utilizam qualquer um dos tipos de caixas para definir de forma aproximada ou rigorosa a posição, forma ou trajetória do objeto em quadros futuros. O Boximator funciona como um plug-in para modelos de difusão de vídeo existentes. Seu processo de treinamento preserva o conhecimento do modelo base ao congelar os pesos originais e treinar apenas o módulo de controle. Para lidar com os desafios de treinamento, introduzimos uma nova técnica de autorrastreamento que simplifica significativamente o aprendizado das correlações entre caixas e objetos. Empiricamente, o Boximator alcança pontuações de qualidade de vídeo (FVD) de última geração, superando dois modelos base, e apresenta melhorias adicionais após a incorporação de restrições de caixa. Sua robusta capacidade de controle de movimento é validada por aumentos drásticos na métrica de alinhamento de caixas delimitadoras. A avaliação humana também mostra que os usuários preferem os resultados gerados pelo Boximator em comparação com o modelo base.

English

Generating rich and controllable motion is a pivotal challenge in video synthesis. We propose Boximator, a new approach for fine-grained motion control. Boximator introduces two constraint types: hard box and soft box. Users select objects in the conditional frame using hard boxes and then use either type of boxes to roughly or rigorously define the object's position, shape, or motion path in future frames. Boximator functions as a plug-in for existing video diffusion models. Its training process preserves the base model's knowledge by freezing the original weights and training only the control module. To address training challenges, we introduce a novel self-tracking technique that greatly simplifies the learning of box-object correlations. Empirically, Boximator achieves state-of-the-art video quality (FVD) scores, improving on two base models, and further enhanced after incorporating box constraints. Its robust motion controllability is validated by drastic increases in the bounding box alignment metric. Human evaluation also shows that users favor Boximator generation results over the base model.