Boximator: Generación de movimientos ricos y controlables para la síntesis de video

Boximator: Generating Rich and Controllable Motions for Video Synthesis

February 2, 2024

Autores: Jiawei Wang, Yuchen Zhang, Jiaxin Zou, Yan Zeng, Guoqiang Wei, Liping Yuan, Hang Li

cs.AI

Resumen

Generar movimiento rico y controlable es un desafío fundamental en la síntesis de video. Proponemos Boximator, un nuevo enfoque para el control fino del movimiento. Boximator introduce dos tipos de restricciones: caja dura y caja suave. Los usuarios seleccionan objetos en el fotograma condicional utilizando cajas duras y luego usan cualquiera de los tipos de cajas para definir de manera aproximada o rigurosa la posición, forma o trayectoria del movimiento del objeto en fotogramas futuros. Boximator funciona como un complemento para los modelos de difusión de video existentes. Su proceso de entrenamiento preserva el conocimiento del modelo base al congelar los pesos originales y entrenar solo el módulo de control. Para abordar los desafíos del entrenamiento, introducimos una novedosa técnica de auto-seguimiento que simplifica enormemente el aprendizaje de las correlaciones entre cajas y objetos. Empíricamente, Boximator logra puntuaciones de calidad de video (FVD) de vanguardia, mejorando dos modelos base, y se ve aún más potenciado después de incorporar restricciones de caja. Su robusta capacidad de control del movimiento se valida mediante aumentos drásticos en la métrica de alineación de cajas delimitadoras. La evaluación humana también muestra que los usuarios prefieren los resultados generados por Boximator sobre los del modelo base.

English

Generating rich and controllable motion is a pivotal challenge in video synthesis. We propose Boximator, a new approach for fine-grained motion control. Boximator introduces two constraint types: hard box and soft box. Users select objects in the conditional frame using hard boxes and then use either type of boxes to roughly or rigorously define the object's position, shape, or motion path in future frames. Boximator functions as a plug-in for existing video diffusion models. Its training process preserves the base model's knowledge by freezing the original weights and training only the control module. To address training challenges, we introduce a novel self-tracking technique that greatly simplifies the learning of box-object correlations. Empirically, Boximator achieves state-of-the-art video quality (FVD) scores, improving on two base models, and further enhanced after incorporating box constraints. Its robust motion controllability is validated by drastic increases in the bounding box alignment metric. Human evaluation also shows that users favor Boximator generation results over the base model.