STR-Match: Сопоставление пространственно-временной релевантности для редактирования видео без обучения

STR-Match: Matching SpatioTemporal Relevance Score for Training-Free Video Editing

June 28, 2025

Авторы: Junsung Lee, Junoh Kang, Bohyung Han

cs.AI

Аннотация

Предыдущие методы редактирования видео на основе текста часто страдают от временной несогласованности, искажения движения и, что наиболее заметно, ограниченных преобразований доменов. Мы связываем эти ограничения с недостаточным моделированием пространственно-временной релевантности пикселей в процессе редактирования. Для решения этой проблемы мы предлагаем STR-Match, алгоритм редактирования видео, не требующий обучения, который создает визуально привлекательные и пространственно-временные согласованные видео с помощью латентной оптимизации, управляемой нашим новым показателем STR. Этот показатель учитывает пространственно-временную релевантность пикселей между соседними кадрами, используя 2D пространственное внимание и 1D временные модули в моделях диффузии текст-в-видео (T2V), без необходимости в вычислительно затратных механизмах 3D внимания. Интегрированный в латентную оптимизационную структуру с латентной маской, STR-Match генерирует временно согласованные и визуально точные видео, демонстрируя высокую производительность даже при значительных преобразованиях доменов, сохраняя ключевые визуальные атрибуты исходного материала. Многочисленные эксперименты показывают, что STR-Match стабильно превосходит существующие методы как по визуальному качеству, так и по пространственно-временной согласованности.

English

Previous text-guided video editing methods often suffer from temporal inconsistency, motion distortion, and-most notably-limited domain transformation. We attribute these limitations to insufficient modeling of spatiotemporal pixel relevance during the editing process. To address this, we propose STR-Match, a training-free video editing algorithm that produces visually appealing and spatiotemporally coherent videos through latent optimization guided by our novel STR score. The score captures spatiotemporal pixel relevance across adjacent frames by leveraging 2D spatial attention and 1D temporal modules in text-to-video (T2V) diffusion models, without the overhead of computationally expensive 3D attention mechanisms. Integrated into a latent optimization framework with a latent mask, STR-Match generates temporally consistent and visually faithful videos, maintaining strong performance even under significant domain transformations while preserving key visual attributes of the source. Extensive experiments demonstrate that STR-Match consistently outperforms existing methods in both visual quality and spatiotemporal consistency.