Zutaten: Mischen von benutzerdefinierten Fotos mit Video-Diffusionstransformatoren

Ingredients: Blending Custom Photos with Video Diffusion Transformers

January 3, 2025

Autoren: Zhengcong Fei, Debang Li, Di Qiu, Changqian Yu, Mingyuan Fan

cs.AI

Zusammenfassung

Dieses Paper präsentiert ein leistungsstarkes Framework zur Anpassung von Videokreationen durch die Integration mehrerer spezifischer Identitätsfotos (ID) mit Video-Diffusion-Transformern, die als Zutaten bezeichnet werden. Im Allgemeinen besteht unsere Methode aus drei Hauptmodulen: (i) einem Gesichtsextraktor, der vielseitige und präzise Gesichtsmerkmale für jede menschliche ID aus globalen und lokalen Perspektiven erfasst; (ii) einem Multi-Scale-Projektor, der Gesichtseinbettungen in den Kontextraum der Bildabfrage in Video-Diffusionstransformern abbildet; (iii) einem ID-Router, der dynamisch mehrere ID-Einbettungen kombiniert und den entsprechenden Raum-Zeit-Regionen zuweist. Durch die Nutzung eines sorgfältig kuratierten Text-Video-Datensatzes und eines mehrstufigen Schulungsprotokolls zeigt Ingredients eine überlegene Leistung bei der Umwandlung von benutzerdefinierten Fotos in dynamische und personalisierte Videoinhalte. Qualitative Bewertungen heben die Vorteile der vorgeschlagenen Methode hervor und positionieren sie als bedeutenden Fortschritt hin zu effektiveren generativen Videosteuerungswerkzeugen in Transformer-basierten Architekturen im Vergleich zu bestehenden Methoden. Die Daten, der Code und die Modellgewichte sind öffentlich verfügbar unter: https://github.com/feizc/Ingredients.

English

This paper presents a powerful framework to customize video creations by incorporating multiple specific identity (ID) photos, with video diffusion Transformers, referred to as Ingredients. Generally, our method consists of three primary modules: (i) a facial extractor that captures versatile and precise facial features for each human ID from both global and local perspectives; (ii) a multi-scale projector that maps face embeddings into the contextual space of image query in video diffusion transformers; (iii) an ID router that dynamically combines and allocates multiple ID embedding to the corresponding space-time regions. Leveraging a meticulously curated text-video dataset and a multi-stage training protocol, Ingredients demonstrates superior performance in turning custom photos into dynamic and personalized video content. Qualitative evaluations highlight the advantages of proposed method, positioning it as a significant advancement toward more effective generative video control tools in Transformer-based architecture, compared to existing methods. The data, code, and model weights are publicly available at: https://github.com/feizc/Ingredients.