Boximator : Génération de mouvements riches et contrôlables pour la synthèse vidéo

Boximator: Generating Rich and Controllable Motions for Video Synthesis

February 2, 2024

Auteurs: Jiawei Wang, Yuchen Zhang, Jiaxin Zou, Yan Zeng, Guoqiang Wei, Liping Yuan, Hang Li

cs.AI

Résumé

La génération de mouvements riches et contrôlables constitue un défi majeur dans la synthèse vidéo. Nous proposons Boximator, une nouvelle approche pour le contrôle fin des mouvements. Boximator introduit deux types de contraintes : la boîte rigide (hard box) et la boîte souple (soft box). Les utilisateurs sélectionnent des objets dans l'image conditionnelle à l'aide de boîtes rigides, puis utilisent l'un ou l'autre type de boîtes pour définir de manière approximative ou précise la position, la forme ou la trajectoire de l'objet dans les images futures. Boximator fonctionne comme un module complémentaire pour les modèles de diffusion vidéo existants. Son processus d'apprentissage préserve les connaissances du modèle de base en gelant les poids originaux et en entraînant uniquement le module de contrôle. Pour relever les défis de l'apprentissage, nous introduisons une technique innovante d'auto-suivi qui simplifie grandement l'apprentissage des corrélations entre les boîtes et les objets. Empiriquement, Boximator atteint des scores de qualité vidéo (FVD) à la pointe de l'état de l'art, surpassant deux modèles de base, et s'améliore encore après l'incorporation des contraintes de boîtes. Sa robuste contrôlabilité des mouvements est validée par une augmentation significative de la métrique d'alignement des boîtes englobantes. L'évaluation humaine montre également que les utilisateurs préfèrent les résultats générés par Boximator à ceux du modèle de base.

English

Generating rich and controllable motion is a pivotal challenge in video synthesis. We propose Boximator, a new approach for fine-grained motion control. Boximator introduces two constraint types: hard box and soft box. Users select objects in the conditional frame using hard boxes and then use either type of boxes to roughly or rigorously define the object's position, shape, or motion path in future frames. Boximator functions as a plug-in for existing video diffusion models. Its training process preserves the base model's knowledge by freezing the original weights and training only the control module. To address training challenges, we introduce a novel self-tracking technique that greatly simplifies the learning of box-object correlations. Empirically, Boximator achieves state-of-the-art video quality (FVD) scores, improving on two base models, and further enhanced after incorporating box constraints. Its robust motion controllability is validated by drastic increases in the bounding box alignment metric. Human evaluation also shows that users favor Boximator generation results over the base model.