VideoGrain: Modulação da Atenção Espaço-Temporal para Edição de Vídeo Multigranular

VideoGrain: Modulating Space-Time Attention for Multi-grained Video Editing

February 24, 2025

Autores: Xiangpeng Yang, Linchao Zhu, Hehe Fan, Yi Yang

cs.AI

Resumo

Os avanços recentes em modelos de difusão melhoraram significativamente as capacidades de geração e edição de vídeos. No entanto, a edição multi-granular de vídeos, que abrange modificações em nível de classe, instância e parte, continua sendo um desafio formidável. As principais dificuldades na edição multi-granular incluem o desalinhamento semântico do controle texto-para-região e o acoplamento de características dentro do modelo de difusão. Para abordar essas dificuldades, apresentamos o VideoGrain, uma abordagem zero-shot que modula os mecanismos de atenção espaço-temporal (cruzada e auto-) para alcançar um controle refinado sobre o conteúdo do vídeo. Melhoramos o controle texto-para-região amplificando a atenção de cada prompt local para sua região espacialmente desacoplada correspondente, enquanto minimizamos as interações com áreas irrelevantes na atenção cruzada. Além disso, aprimoramos a separação de características aumentando a consciência intra-região e reduzindo a interferência inter-região na auto-atenção. Experimentos extensivos demonstram que nosso método alcança desempenho de ponta em cenários do mundo real. Nosso código, dados e demonstrações estão disponíveis em https://knightyxp.github.io/VideoGrain_project_page/.

English

Recent advancements in diffusion models have significantly improved video generation and editing capabilities. However, multi-grained video editing, which encompasses class-level, instance-level, and part-level modifications, remains a formidable challenge. The major difficulties in multi-grained editing include semantic misalignment of text-to-region control and feature coupling within the diffusion model. To address these difficulties, we present VideoGrain, a zero-shot approach that modulates space-time (cross- and self-) attention mechanisms to achieve fine-grained control over video content. We enhance text-to-region control by amplifying each local prompt's attention to its corresponding spatial-disentangled region while minimizing interactions with irrelevant areas in cross-attention. Additionally, we improve feature separation by increasing intra-region awareness and reducing inter-region interference in self-attention. Extensive experiments demonstrate our method achieves state-of-the-art performance in real-world scenarios. Our code, data, and demos are available at https://knightyxp.github.io/VideoGrain_project_page/