STR-Match: トレーニング不要のビデオ編集のための時空間的関連性スコアマッチング

STR-Match: Matching SpatioTemporal Relevance Score for Training-Free Video Editing

June 28, 2025

著者: Junsung Lee, Junoh Kang, Bohyung Han

cs.AI

要旨

従来のテキストガイド型動画編集手法は、時間的な不整合、モーションの歪み、そして最も顕著なものとしてドメイン変換の制限に悩まされることが多い。これらの制限は、編集プロセスにおける時空間ピクセル関連性のモデリングが不十分であることに起因すると考えられる。この問題に対処するため、我々はSTR-Matchを提案する。これは、新たに開発したSTRスコアに基づく潜在最適化を通じて、視覚的に魅力的で時空間的に一貫した動画を生成するトレーニング不要の動画編集アルゴリズムである。このスコアは、テキストから動画（T2V）への拡散モデルにおいて、2D空間的注意機構と1D時間的モジュールを活用することで、隣接フレーム間の時空間ピクセル関連性を捉えるものであり、計算コストの高い3D注意機構のオーバーヘッドを伴わない。潜在マスクを組み込んだ潜在最適化フレームワークに統合されたSTR-Matchは、時間的に一貫性があり視覚的に忠実な動画を生成し、重要な視覚的属性を保持しながらも、大幅なドメイン変換下でも高い性能を維持する。広範な実験により、STR-Matchが視覚品質と時空間的一貫性の両面において、既存の手法を一貫して上回ることが実証された。

English

Previous text-guided video editing methods often suffer from temporal inconsistency, motion distortion, and-most notably-limited domain transformation. We attribute these limitations to insufficient modeling of spatiotemporal pixel relevance during the editing process. To address this, we propose STR-Match, a training-free video editing algorithm that produces visually appealing and spatiotemporally coherent videos through latent optimization guided by our novel STR score. The score captures spatiotemporal pixel relevance across adjacent frames by leveraging 2D spatial attention and 1D temporal modules in text-to-video (T2V) diffusion models, without the overhead of computationally expensive 3D attention mechanisms. Integrated into a latent optimization framework with a latent mask, STR-Match generates temporally consistent and visually faithful videos, maintaining strong performance even under significant domain transformations while preserving key visual attributes of the source. Extensive experiments demonstrate that STR-Match consistently outperforms existing methods in both visual quality and spatiotemporal consistency.