STR-Match: Pontuação de Relevância Espaço-Temporal para Edição de Vídeo sem Treinamento

STR-Match: Matching SpatioTemporal Relevance Score for Training-Free Video Editing

June 28, 2025

Autores: Junsung Lee, Junoh Kang, Bohyung Han

cs.AI

Resumo

Métodos anteriores de edição de vídeo guiada por texto frequentemente sofrem com inconsistência temporal, distorção de movimento e, mais notavelmente, transformação de domínio limitada. Atribuímos essas limitações à modelagem insuficiente da relevância espaço-temporal dos pixels durante o processo de edição. Para resolver isso, propomos o STR-Match, um algoritmo de edição de vídeo sem treinamento que produz vídeos visualmente atraentes e espaço-temporalmente coerentes por meio de otimização latente guiada por nossa nova pontuação STR. A pontuação captura a relevância espaço-temporal dos pixels em quadros adjacentes, aproveitando módulos de atenção espacial 2D e temporal 1D em modelos de difusão de texto para vídeo (T2V), sem a sobrecarga de mecanismos de atenção 3D computacionalmente caros. Integrado em um framework de otimização latente com uma máscara latente, o STR-Match gera vídeos temporalmente consistentes e visualmente fiéis, mantendo um desempenho forte mesmo sob transformações significativas de domínio, enquanto preserva atributos visuais-chave da fonte. Experimentos extensivos demonstram que o STR-Match supera consistentemente os métodos existentes tanto em qualidade visual quanto em consistência espaço-temporal.

English

Previous text-guided video editing methods often suffer from temporal inconsistency, motion distortion, and-most notably-limited domain transformation. We attribute these limitations to insufficient modeling of spatiotemporal pixel relevance during the editing process. To address this, we propose STR-Match, a training-free video editing algorithm that produces visually appealing and spatiotemporally coherent videos through latent optimization guided by our novel STR score. The score captures spatiotemporal pixel relevance across adjacent frames by leveraging 2D spatial attention and 1D temporal modules in text-to-video (T2V) diffusion models, without the overhead of computationally expensive 3D attention mechanisms. Integrated into a latent optimization framework with a latent mask, STR-Match generates temporally consistent and visually faithful videos, maintaining strong performance even under significant domain transformations while preserving key visual attributes of the source. Extensive experiments demonstrate that STR-Match consistently outperforms existing methods in both visual quality and spatiotemporal consistency.