Boximator: Het genereren van rijke en controleerbare bewegingen voor videosynthese

Boximator: Generating Rich and Controllable Motions for Video Synthesis

February 2, 2024

Auteurs: Jiawei Wang, Yuchen Zhang, Jiaxin Zou, Yan Zeng, Guoqiang Wei, Liping Yuan, Hang Li

cs.AI

Samenvatting

Het genereren van rijke en controleerbare beweging is een cruciale uitdaging in videosynthese. Wij stellen Boximator voor, een nieuwe aanpak voor fijnmazige bewegingscontrole. Boximator introduceert twee soorten beperkingen: harde boxen en zachte boxen. Gebruikers selecteren objecten in het conditionele frame met behulp van harde boxen en gebruiken vervolgens een van beide soorten boxen om de positie, vorm of bewegingsbaan van het object in toekomstige frames ruwweg of strikt te definiëren. Boximator fungeert als een plug-in voor bestaande videodiffusiemodellen. Het trainingsproces behoudt de kennis van het basismodel door de oorspronkelijke gewichten te bevriezen en alleen het controlemodule te trainen. Om trainingsuitdagingen aan te pakken, introduceren we een nieuwe zelfvolgende techniek die het leren van box-objectcorrelaties aanzienlijk vereenvoudigt. Empirisch gezien behaalt Boximator state-of-the-art videokwaliteitsscores (FVD), verbetert het op twee basismodellen, en wordt het verder versterkt na het incorporeren van boxbeperkingen. De robuuste bewegingscontroleerbaarheid wordt gevalideerd door drastische stijgingen in de metriek voor uitlijning van begrenzingsboxen. Menselijke evaluatie toont ook aan dat gebruikers de generatieresultaten van Boximator verkiezen boven die van het basismodel.

English

Generating rich and controllable motion is a pivotal challenge in video synthesis. We propose Boximator, a new approach for fine-grained motion control. Boximator introduces two constraint types: hard box and soft box. Users select objects in the conditional frame using hard boxes and then use either type of boxes to roughly or rigorously define the object's position, shape, or motion path in future frames. Boximator functions as a plug-in for existing video diffusion models. Its training process preserves the base model's knowledge by freezing the original weights and training only the control module. To address training challenges, we introduce a novel self-tracking technique that greatly simplifies the learning of box-object correlations. Empirically, Boximator achieves state-of-the-art video quality (FVD) scores, improving on two base models, and further enhanced after incorporating box constraints. Its robust motion controllability is validated by drastic increases in the bounding box alignment metric. Human evaluation also shows that users favor Boximator generation results over the base model.