Ingredientes: Mezclando Fotos Personalizadas con Transformadores de Difusión de Video

Ingredients: Blending Custom Photos with Video Diffusion Transformers

January 3, 2025

Autores: Zhengcong Fei, Debang Li, Di Qiu, Changqian Yu, Mingyuan Fan

cs.AI

Resumen

Este artículo presenta un marco poderoso para personalizar creaciones de video mediante la incorporación de múltiples fotos de identidad (ID) específicas, con Transformers de difusión de video, denominados Ingredientes. En general, nuestro método consta de tres módulos principales: (i) un extractor facial que captura rasgos faciales versátiles y precisos para cada ID humano desde perspectivas globales y locales; (ii) un proyector multi-escala que mapea incrustaciones faciales en el espacio contextual de la consulta de imagen en los Transformers de difusión de video; (iii) un enrutador de ID que combina dinámicamente y asigna múltiples incrustaciones de ID a las regiones espacio-temporales correspondientes. Aprovechando un conjunto de datos de texto-video meticulosamente seleccionado y un protocolo de entrenamiento de múltiples etapas, Ingredientes demuestra un rendimiento superior al convertir fotos personalizadas en contenido de video dinámico y personalizado. Las evaluaciones cualitativas destacan las ventajas del método propuesto, posicionándolo como un avance significativo hacia herramientas de control de video generativo más efectivas en la arquitectura basada en Transformers, en comparación con los métodos existentes. Los datos, el código y los pesos del modelo están disponibles públicamente en: https://github.com/feizc/Ingredients.

English

This paper presents a powerful framework to customize video creations by incorporating multiple specific identity (ID) photos, with video diffusion Transformers, referred to as Ingredients. Generally, our method consists of three primary modules: (i) a facial extractor that captures versatile and precise facial features for each human ID from both global and local perspectives; (ii) a multi-scale projector that maps face embeddings into the contextual space of image query in video diffusion transformers; (iii) an ID router that dynamically combines and allocates multiple ID embedding to the corresponding space-time regions. Leveraging a meticulously curated text-video dataset and a multi-stage training protocol, Ingredients demonstrates superior performance in turning custom photos into dynamic and personalized video content. Qualitative evaluations highlight the advantages of proposed method, positioning it as a significant advancement toward more effective generative video control tools in Transformer-based architecture, compared to existing methods. The data, code, and model weights are publicly available at: https://github.com/feizc/Ingredients.