VideoGrain: Modulación de la Atención Espacio-Temporal para la Edición de Vídeo Multigranular

VideoGrain: Modulating Space-Time Attention for Multi-grained Video Editing

February 24, 2025

Autores: Xiangpeng Yang, Linchao Zhu, Hehe Fan, Yi Yang

cs.AI

Resumen

Los recientes avances en los modelos de difusión han mejorado significativamente las capacidades de generación y edición de videos. Sin embargo, la edición de videos multi-granular, que abarca modificaciones a nivel de clase, instancia y parte, sigue siendo un desafío formidable. Las principales dificultades en la edición multi-granular incluyen la desalineación semántica del control texto-región y el acoplamiento de características dentro del modelo de difusión. Para abordar estas dificultades, presentamos VideoGrain, un enfoque de zero-shot que modula los mecanismos de atención espacio-temporal (cruzada y auto-) para lograr un control fino sobre el contenido del video. Mejoramos el control texto-región amplificando la atención de cada prompt local a su región espacialmente desentrelazada correspondiente, mientras minimizamos las interacciones con áreas irrelevantes en la atención cruzada. Además, mejoramos la separación de características aumentando la conciencia intra-región y reduciendo la interferencia inter-región en la atención auto-. Experimentos extensivos demuestran que nuestro método alcanza un rendimiento de vanguardia en escenarios del mundo real. Nuestro código, datos y demostraciones están disponibles en https://knightyxp.github.io/VideoGrain_project_page/

English

Recent advancements in diffusion models have significantly improved video generation and editing capabilities. However, multi-grained video editing, which encompasses class-level, instance-level, and part-level modifications, remains a formidable challenge. The major difficulties in multi-grained editing include semantic misalignment of text-to-region control and feature coupling within the diffusion model. To address these difficulties, we present VideoGrain, a zero-shot approach that modulates space-time (cross- and self-) attention mechanisms to achieve fine-grained control over video content. We enhance text-to-region control by amplifying each local prompt's attention to its corresponding spatial-disentangled region while minimizing interactions with irrelevant areas in cross-attention. Additionally, we improve feature separation by increasing intra-region awareness and reducing inter-region interference in self-attention. Extensive experiments demonstrate our method achieves state-of-the-art performance in real-world scenarios. Our code, data, and demos are available at https://knightyxp.github.io/VideoGrain_project_page/