VideoGrain: Modulatie van ruimte-tijd aandacht voor multi-granulaire videobewerking

VideoGrain: Modulating Space-Time Attention for Multi-grained Video Editing

February 24, 2025

Auteurs: Xiangpeng Yang, Linchao Zhu, Hehe Fan, Yi Yang

cs.AI

Samenvatting

Recente vooruitgang in diffusiemodellen heeft de mogelijkheden voor videogeneratie en -bewerking aanzienlijk verbeterd. Toch blijft multi-granulaire videobewerking, die klasse-, instantie- en onderdeelniveau-modificaties omvat, een aanzienlijke uitdaging. De belangrijkste moeilijkheden bij multi-granulaire bewerking omvatten semantische uitlijning van tekst-naar-regio-controle en kenmerkkoppeling binnen het diffusiemodel. Om deze problemen aan te pakken, presenteren we VideoGrain, een zero-shot benadering die ruimte-tijd (cross- en self-) aandachtmechanismen moduleert om fijnmazige controle over videocontent te bereiken. We verbeteren tekst-naar-regio-controle door de aandacht van elke lokale prompt voor zijn corresponderende ruimtelijk-ontwarde regio te versterken, terwijl interacties met irrelevante gebieden in cross-attention worden geminimaliseerd. Daarnaast verbeteren we kenmerkscheiding door het intra-regiobewustzijn te vergroten en inter-regio-interferentie in self-attention te verminderen. Uitgebreide experimenten tonen aan dat onze methode state-of-the-art prestaties bereikt in realistische scenario's. Onze code, data en demo's zijn beschikbaar op https://knightyxp.github.io/VideoGrain_project_page/.

English

Recent advancements in diffusion models have significantly improved video generation and editing capabilities. However, multi-grained video editing, which encompasses class-level, instance-level, and part-level modifications, remains a formidable challenge. The major difficulties in multi-grained editing include semantic misalignment of text-to-region control and feature coupling within the diffusion model. To address these difficulties, we present VideoGrain, a zero-shot approach that modulates space-time (cross- and self-) attention mechanisms to achieve fine-grained control over video content. We enhance text-to-region control by amplifying each local prompt's attention to its corresponding spatial-disentangled region while minimizing interactions with irrelevant areas in cross-attention. Additionally, we improve feature separation by increasing intra-region awareness and reducing inter-region interference in self-attention. Extensive experiments demonstrate our method achieves state-of-the-art performance in real-world scenarios. Our code, data, and demos are available at https://knightyxp.github.io/VideoGrain_project_page/