CustomVideoX: Adaptación Dinámica Dirigida por Atención de Referencia 3D para Transformadores de Difusión de Video Personalizados de Cero Disparos.

CustomVideoX: 3D Reference Attention Driven Dynamic Adaptation for Zero-Shot Customized Video Diffusion Transformers

February 10, 2025

Autores: D. She, Mushui Liu, Jingxuan Pang, Jin Wang, Zhen Yang, Wanggui He, Guanghao Zhang, Yi Wang, Qihan Huang, Haobin Tang, Yunlong Yu, Siming Fu

cs.AI

Resumen

La generación personalizada ha logrado avances significativos en la síntesis de imágenes, sin embargo, la generación de videos personalizados sigue siendo un desafío debido a inconsistencias temporales y degradación de calidad. En este documento, presentamos CustomVideoX, un marco innovador que aprovecha el transformador de difusión de video para la generación de videos personalizados a partir de una imagen de referencia. CustomVideoX se basa en redes de video pre-entrenadas al entrenar exclusivamente los parámetros de LoRA para extraer características de referencia, asegurando eficiencia y adaptabilidad. Para facilitar la interacción fluida entre la imagen de referencia y el contenido de video, proponemos Atención de Referencia 3D, que permite el compromiso directo y simultáneo de las características de la imagen de referencia con todos los fotogramas de video a lo largo de las dimensiones espaciales y temporales. Para mitigar la influencia excesiva de las características de la imagen de referencia y la orientación textual en el contenido de video generado durante la inferencia, implementamos la estrategia de Sesgo de Atención de Referencia Consciente del Tiempo (TAB), modulando dinámicamente el sesgo de referencia en diferentes pasos de tiempo. Además, presentamos el módulo de Mejora Consciente de la Región de la Entidad (ERAE), alineando regiones altamente activadas de tokens de entidades clave con la inyección de características de referencia ajustando el sesgo de atención. Para evaluar a fondo la generación de videos personalizados, establecemos un nuevo punto de referencia, VideoBench, que comprende más de 50 objetos y 100 indicaciones para una evaluación exhaustiva. Los resultados experimentales muestran que CustomVideoX supera significativamente a los métodos existentes en cuanto a consistencia y calidad de video.

English

Customized generation has achieved significant progress in image synthesis, yet personalized video generation remains challenging due to temporal inconsistencies and quality degradation. In this paper, we introduce CustomVideoX, an innovative framework leveraging the video diffusion transformer for personalized video generation from a reference image. CustomVideoX capitalizes on pre-trained video networks by exclusively training the LoRA parameters to extract reference features, ensuring both efficiency and adaptability. To facilitate seamless interaction between the reference image and video content, we propose 3D Reference Attention, which enables direct and simultaneous engagement of reference image features with all video frames across spatial and temporal dimensions. To mitigate the excessive influence of reference image features and textual guidance on generated video content during inference, we implement the Time-Aware Reference Attention Bias (TAB) strategy, dynamically modulating reference bias over different time steps. Additionally, we introduce the Entity Region-Aware Enhancement (ERAE) module, aligning highly activated regions of key entity tokens with reference feature injection by adjusting attention bias. To thoroughly evaluate personalized video generation, we establish a new benchmark, VideoBench, comprising over 50 objects and 100 prompts for extensive assessment. Experimental results show that CustomVideoX significantly outperforms existing methods in terms of video consistency and quality.