Ingrédients : Mélange de Photos Personnalisées avec Transformateurs de Diffusion Vidéo

Ingredients: Blending Custom Photos with Video Diffusion Transformers

January 3, 2025

Auteurs: Zhengcong Fei, Debang Li, Di Qiu, Changqian Yu, Mingyuan Fan

cs.AI

Résumé

Cet article présente un cadre puissant pour personnaliser les créations vidéo en incorporant plusieurs photos d'identité spécifiques, avec des Transformers de diffusion vidéo, appelés Ingrédients. En général, notre méthode se compose de trois modules principaux : (i) un extracteur facial qui capture des traits faciaux polyvalents et précis pour chaque identifiant humain à la fois d'un point de vue global et local ; (ii) un projecteur multi-échelle qui cartographie les plongements faciaux dans l'espace contextuel de la requête d'image dans les Transformers de diffusion vidéo ; (iii) un routeur d'identifiant qui combine et alloue dynamiquement plusieurs plongements d'identifiant aux régions espace-temps correspondantes. En exploitant un ensemble de données texte-vidéo méticuleusement organisé et un protocole d'entraînement multi-étapes, Ingrédients démontre des performances supérieures pour transformer des photos personnalisées en contenu vidéo dynamique et personnalisé. Les évaluations qualitatives mettent en avant les avantages de la méthode proposée, la positionnant comme une avancée significative vers des outils de contrôle vidéo génératif plus efficaces dans une architecture basée sur les Transformers, par rapport aux méthodes existantes. Les données, le code et les poids du modèle sont disponibles publiquement sur : https://github.com/feizc/Ingredients.

English

This paper presents a powerful framework to customize video creations by incorporating multiple specific identity (ID) photos, with video diffusion Transformers, referred to as Ingredients. Generally, our method consists of three primary modules: (i) a facial extractor that captures versatile and precise facial features for each human ID from both global and local perspectives; (ii) a multi-scale projector that maps face embeddings into the contextual space of image query in video diffusion transformers; (iii) an ID router that dynamically combines and allocates multiple ID embedding to the corresponding space-time regions. Leveraging a meticulously curated text-video dataset and a multi-stage training protocol, Ingredients demonstrates superior performance in turning custom photos into dynamic and personalized video content. Qualitative evaluations highlight the advantages of proposed method, positioning it as a significant advancement toward more effective generative video control tools in Transformer-based architecture, compared to existing methods. The data, code, and model weights are publicly available at: https://github.com/feizc/Ingredients.