VideoGrain: 時空間的注意機構を調整するマルチグレイン映像編集

VideoGrain: Modulating Space-Time Attention for Multi-grained Video Editing

February 24, 2025

著者: Xiangpeng Yang, Linchao Zhu, Hehe Fan, Yi Yang

cs.AI

要旨

近年の拡散モデルの進展により、ビデオ生成と編集の能力が大幅に向上しています。しかし、クラスレベル、インスタンスレベル、パートレベルの変更を含むマルチグレインのビデオ編集は、依然として大きな課題となっています。マルチグレイン編集における主な困難は、テキストから領域への制御の意味的な不整合と、拡散モデル内の特徴の結合にあります。これらの困難に対処するため、我々はVideoGrainを提案します。これは、時空間（クロスおよびセルフ）アテンションメカニズムを調整することで、ビデオコンテンツの細かい制御を実現するゼロショットアプローチです。クロスアテンションにおいて、各ローカルプロンプトの対応する空間的に分離された領域への注意を増幅し、無関係な領域との相互作用を最小化することで、テキストから領域への制御を強化します。さらに、セルフアテンションにおいて、領域内の認識を高め、領域間の干渉を減らすことで、特徴の分離を改善します。大規模な実験により、我々の手法が実世界のシナリオで最先端の性能を達成することが実証されています。コード、データ、デモはhttps://knightyxp.github.io/VideoGrain_project_page/で公開されています。

English

Recent advancements in diffusion models have significantly improved video generation and editing capabilities. However, multi-grained video editing, which encompasses class-level, instance-level, and part-level modifications, remains a formidable challenge. The major difficulties in multi-grained editing include semantic misalignment of text-to-region control and feature coupling within the diffusion model. To address these difficulties, we present VideoGrain, a zero-shot approach that modulates space-time (cross- and self-) attention mechanisms to achieve fine-grained control over video content. We enhance text-to-region control by amplifying each local prompt's attention to its corresponding spatial-disentangled region while minimizing interactions with irrelevant areas in cross-attention. Additionally, we improve feature separation by increasing intra-region awareness and reducing inter-region interference in self-attention. Extensive experiments demonstrate our method achieves state-of-the-art performance in real-world scenarios. Our code, data, and demos are available at https://knightyxp.github.io/VideoGrain_project_page/