CustomVideoX: Динамическая адаптация с учетом внимания к 3D ссылочным данным для трансформеров диффузии видео с нулевым обучением для индивидуализированных видео.

CustomVideoX: 3D Reference Attention Driven Dynamic Adaptation for Zero-Shot Customized Video Diffusion Transformers

February 10, 2025

Авторы: D. She, Mushui Liu, Jingxuan Pang, Jin Wang, Zhen Yang, Wanggui He, Guanghao Zhang, Yi Wang, Qihan Huang, Haobin Tang, Yunlong Yu, Siming Fu

cs.AI

Аннотация

Персонализированная генерация достигла значительного прогресса в синтезе изображений, однако персонализированная генерация видео остается сложной из-за временных несоответствий и деградации качества. В данной статье мы представляем CustomVideoX, инновационную структуру, использующую видео-трансформер для персонализированной генерации видео из исходного изображения. CustomVideoX опирается на предварительно обученные видео-сети, обучая исключительно параметры LoRA для извлечения характеристик исходного изображения, обеспечивая при этом эффективность и адаптивность. Для облегчения бесшовного взаимодействия между исходным изображением и видео-контентом мы предлагаем 3D Reference Attention, позволяющий прямое и одновременное взаимодействие характеристик исходного изображения со всеми кадрами видео по пространственным и временным измерениям. Для смягчения чрезмерного влияния характеристик исходного изображения и текстового руководства на сгенерированный видео-контент во время вывода мы реализуем стратегию Time-Aware Reference Attention Bias (TAB), динамически модулируя смещение внимания к исходному изображению на различных временных шагах. Кроме того, мы представляем модуль Entity Region-Aware Enhancement (ERAE), выравнивающий высокоактивированные области ключевых сущностей с инъекцией характеристик исходного изображения путем корректировки смещения внимания. Для тщательной оценки персонализированной генерации видео мы создаем новый бенчмарк, VideoBench, включающий более 50 объектов и 100 подсказок для обширной оценки. Экспериментальные результаты показывают, что CustomVideoX значительно превосходит существующие методы по показателям согласованности и качества видео.

English

Customized generation has achieved significant progress in image synthesis, yet personalized video generation remains challenging due to temporal inconsistencies and quality degradation. In this paper, we introduce CustomVideoX, an innovative framework leveraging the video diffusion transformer for personalized video generation from a reference image. CustomVideoX capitalizes on pre-trained video networks by exclusively training the LoRA parameters to extract reference features, ensuring both efficiency and adaptability. To facilitate seamless interaction between the reference image and video content, we propose 3D Reference Attention, which enables direct and simultaneous engagement of reference image features with all video frames across spatial and temporal dimensions. To mitigate the excessive influence of reference image features and textual guidance on generated video content during inference, we implement the Time-Aware Reference Attention Bias (TAB) strategy, dynamically modulating reference bias over different time steps. Additionally, we introduce the Entity Region-Aware Enhancement (ERAE) module, aligning highly activated regions of key entity tokens with reference feature injection by adjusting attention bias. To thoroughly evaluate personalized video generation, we establish a new benchmark, VideoBench, comprising over 50 objects and 100 prompts for extensive assessment. Experimental results show that CustomVideoX significantly outperforms existing methods in terms of video consistency and quality.