ConceptMaster: Personalización de Video Multi-Concepto en Modelos de Transformador de Difusión Sin Ajuste en Tiempo de Prueba

ConceptMaster: Multi-Concept Video Customization on Diffusion Transformer Models Without Test-Time Tuning

January 8, 2025

Autores: Yuzhou Huang, Ziyang Yuan, Quande Liu, Qiulin Wang, Xintao Wang, Ruimao Zhang, Pengfei Wan, Di Zhang, Kun Gai

cs.AI

Resumen

La generación de video a partir de texto ha experimentado avances notables a través de modelos de difusión. Sin embargo, la Personalización de Video Multi-Concepto (MCVC) sigue siendo un desafío significativo. Identificamos dos desafíos clave en esta tarea: 1) el problema de desacoplamiento de identidad, donde la adopción directa de métodos de personalización existentes inevitablemente mezcla atributos al manejar múltiples conceptos simultáneamente, y 2) la escasez de pares video-entidad de alta calidad, que es crucial para entrenar un modelo que represente y desacople bien varios conceptos. Para abordar estos desafíos, presentamos ConceptMaster, un marco innovador que aborda de manera efectiva los problemas críticos de desacoplamiento de identidad mientras mantiene la fidelidad conceptual en videos personalizados. Específicamente, introducimos una estrategia novedosa de aprendizaje de incrustaciones multi-concepto desacopladas que se inyectan en los modelos de difusión de manera independiente, lo que garantiza efectivamente la calidad de los videos personalizados con múltiples identidades, incluso para conceptos visuales altamente similares. Para superar aún más la escasez de datos MCVC de alta calidad, establecemos cuidadosamente un proceso de construcción de datos que permite la recopilación sistemática de datos precisos de video-entidad multi-concepto a través de diversos conceptos. Se diseña un benchmark integral para validar la efectividad de nuestro modelo desde tres dimensiones críticas: fidelidad conceptual, capacidad de desacoplamiento de identidad y calidad de generación de video en seis escenarios de composición de conceptos diferentes. Experimentos extensos demuestran que nuestro ConceptMaster supera significativamente en rendimiento a enfoques anteriores para esta tarea, allanando el camino para generar videos personalizados y semánticamente precisos a través de múltiples conceptos.

English

Text-to-video generation has made remarkable advancements through diffusion models. However, Multi-Concept Video Customization (MCVC) remains a significant challenge. We identify two key challenges in this task: 1) the identity decoupling problem, where directly adopting existing customization methods inevitably mix attributes when handling multiple concepts simultaneously, and 2) the scarcity of high-quality video-entity pairs, which is crucial for training such a model that represents and decouples various concepts well. To address these challenges, we introduce ConceptMaster, an innovative framework that effectively tackles the critical issues of identity decoupling while maintaining concept fidelity in customized videos. Specifically, we introduce a novel strategy of learning decoupled multi-concept embeddings that are injected into the diffusion models in a standalone manner, which effectively guarantees the quality of customized videos with multiple identities, even for highly similar visual concepts. To further overcome the scarcity of high-quality MCVC data, we carefully establish a data construction pipeline, which enables systematic collection of precise multi-concept video-entity data across diverse concepts. A comprehensive benchmark is designed to validate the effectiveness of our model from three critical dimensions: concept fidelity, identity decoupling ability, and video generation quality across six different concept composition scenarios. Extensive experiments demonstrate that our ConceptMaster significantly outperforms previous approaches for this task, paving the way for generating personalized and semantically accurate videos across multiple concepts.