ConceptMaster : Personnalisation vidéo multi-concepts sur les modèles de transformateurs de diffusion sans ajustement à l'exécution

ConceptMaster: Multi-Concept Video Customization on Diffusion Transformer Models Without Test-Time Tuning

January 8, 2025

Auteurs: Yuzhou Huang, Ziyang Yuan, Quande Liu, Qiulin Wang, Xintao Wang, Ruimao Zhang, Pengfei Wan, Di Zhang, Kun Gai

cs.AI

Résumé

La génération de vidéos à partir de texte a fait d'importants progrès grâce aux modèles de diffusion. Cependant, la Personnalisation Vidéo Multi-Concept (MCVC) reste un défi majeur. Nous identifions deux défis clés dans cette tâche : 1) le problème de découplage d'identité, où l'adoption directe des méthodes de personnalisation existantes mélange inévitablement les attributs lors du traitement de plusieurs concepts simultanément, et 2) la rareté des paires vidéo-entité de haute qualité, essentielle pour l'entraînement d'un tel modèle qui représente et découple efficacement divers concepts. Pour relever ces défis, nous introduisons ConceptMaster, un cadre innovant qui aborde efficacement les problèmes critiques de découplage d'identité tout en maintenant la fidélité conceptuelle dans les vidéos personnalisées. Plus précisément, nous introduisons une stratégie novatrice d'apprentissage d'incorporations multi-concepts découplées qui sont injectées dans les modèles de diffusion de manière autonome, garantissant ainsi efficacement la qualité des vidéos personnalisées avec de multiples identités, même pour des concepts visuels très similaires. Pour surmonter davantage la rareté des données MCVC de haute qualité, nous établissons soigneusement un pipeline de construction de données, permettant la collecte systématique de données vidéo-entité multi-concepts précises à travers divers concepts. Un benchmark complet est conçu pour valider l'efficacité de notre modèle selon trois dimensions critiques : la fidélité conceptuelle, la capacité de découplage d'identité et la qualité de génération vidéo à travers six scénarios de composition conceptuelle différents. Des expériences approfondies démontrent que notre ConceptMaster surpasse significativement les approches précédentes pour cette tâche, ouvrant la voie à la génération de vidéos personnalisées et sémantiquement précises à travers plusieurs concepts.

English

Text-to-video generation has made remarkable advancements through diffusion models. However, Multi-Concept Video Customization (MCVC) remains a significant challenge. We identify two key challenges in this task: 1) the identity decoupling problem, where directly adopting existing customization methods inevitably mix attributes when handling multiple concepts simultaneously, and 2) the scarcity of high-quality video-entity pairs, which is crucial for training such a model that represents and decouples various concepts well. To address these challenges, we introduce ConceptMaster, an innovative framework that effectively tackles the critical issues of identity decoupling while maintaining concept fidelity in customized videos. Specifically, we introduce a novel strategy of learning decoupled multi-concept embeddings that are injected into the diffusion models in a standalone manner, which effectively guarantees the quality of customized videos with multiple identities, even for highly similar visual concepts. To further overcome the scarcity of high-quality MCVC data, we carefully establish a data construction pipeline, which enables systematic collection of precise multi-concept video-entity data across diverse concepts. A comprehensive benchmark is designed to validate the effectiveness of our model from three critical dimensions: concept fidelity, identity decoupling ability, and video generation quality across six different concept composition scenarios. Extensive experiments demonstrate that our ConceptMaster significantly outperforms previous approaches for this task, paving the way for generating personalized and semantically accurate videos across multiple concepts.