Boximator: Generazione di Movimenti Ricchi e Controllabili per la Sintesi Video

Boximator: Generating Rich and Controllable Motions for Video Synthesis

February 2, 2024

Autori: Jiawei Wang, Yuchen Zhang, Jiaxin Zou, Yan Zeng, Guoqiang Wei, Liping Yuan, Hang Li

cs.AI

Abstract

Generare movimenti ricchi e controllabili rappresenta una sfida cruciale nella sintesi video. Proponiamo Boximator, un nuovo approccio per il controllo fine del movimento. Boximator introduce due tipi di vincoli: hard box e soft box. Gli utenti selezionano gli oggetti nel frame condizionale utilizzando hard box e poi impiegano uno dei due tipi di box per definire approssimativamente o rigorosamente la posizione, la forma o il percorso di movimento dell'oggetto nei frame futuri. Boximator funziona come un plug-in per i modelli di diffusione video esistenti. Il suo processo di addestramento preserva la conoscenza del modello di base congelando i pesi originali e addestrando solo il modulo di controllo. Per affrontare le sfide dell'addestramento, introduciamo una nuova tecnica di self-tracking che semplifica notevolmente l'apprendimento delle correlazioni box-oggetto. Empiricamente, Boximator raggiunge punteggi di qualità video (FVD) all'avanguardia, migliorando due modelli di base, con ulteriori miglioramenti dopo l'incorporazione dei vincoli box. La sua robusta controllabilità del movimento è validata da un drastico aumento nella metrica di allineamento del bounding box. La valutazione umana mostra inoltre che gli utenti preferiscono i risultati generati da Boximator rispetto al modello di base.

English

Generating rich and controllable motion is a pivotal challenge in video synthesis. We propose Boximator, a new approach for fine-grained motion control. Boximator introduces two constraint types: hard box and soft box. Users select objects in the conditional frame using hard boxes and then use either type of boxes to roughly or rigorously define the object's position, shape, or motion path in future frames. Boximator functions as a plug-in for existing video diffusion models. Its training process preserves the base model's knowledge by freezing the original weights and training only the control module. To address training challenges, we introduce a novel self-tracking technique that greatly simplifies the learning of box-object correlations. Empirically, Boximator achieves state-of-the-art video quality (FVD) scores, improving on two base models, and further enhanced after incorporating box constraints. Its robust motion controllability is validated by drastic increases in the bounding box alignment metric. Human evaluation also shows that users favor Boximator generation results over the base model.