STR-Match: Punteggio di Rilevanza Spazio-Temporale per l'Editing Video Senza Addestramento

STR-Match: Matching SpatioTemporal Relevance Score for Training-Free Video Editing

June 28, 2025

Autori: Junsung Lee, Junoh Kang, Bohyung Han

cs.AI

Abstract

I precedenti metodi di editing video guidati da testo spesso soffrono di incoerenza temporale, distorsione del movimento e, soprattutto, di una limitata trasformazione del dominio. Attribuiamo queste limitazioni a una modellazione insufficiente della rilevanza spaziotemporale dei pixel durante il processo di editing. Per affrontare questo problema, proponiamo STR-Match, un algoritmo di editing video senza addestramento che produce video visivamente accattivanti e coerenti spaziotemporalmente attraverso un'ottimizzazione latente guidata dal nostro nuovo punteggio STR. Il punteggio cattura la rilevanza spaziotemporale dei pixel tra frame adiacenti sfruttando moduli di attenzione spaziale 2D e temporale 1D nei modelli di diffusione testo-video (T2V), senza il sovraccarico di meccanismi di attenzione 3D computazionalmente costosi. Integrato in un framework di ottimizzazione latente con una maschera latente, STR-Match genera video temporalmente coerenti e visivamente fedeli, mantenendo prestazioni solide anche sotto significative trasformazioni di dominio, preservando al contempo gli attributi visivi chiave della sorgente. Esperimenti estensivi dimostrano che STR-Match supera costantemente i metodi esistenti sia nella qualità visiva che nella coerenza spaziotemporale.

English

Previous text-guided video editing methods often suffer from temporal inconsistency, motion distortion, and-most notably-limited domain transformation. We attribute these limitations to insufficient modeling of spatiotemporal pixel relevance during the editing process. To address this, we propose STR-Match, a training-free video editing algorithm that produces visually appealing and spatiotemporally coherent videos through latent optimization guided by our novel STR score. The score captures spatiotemporal pixel relevance across adjacent frames by leveraging 2D spatial attention and 1D temporal modules in text-to-video (T2V) diffusion models, without the overhead of computationally expensive 3D attention mechanisms. Integrated into a latent optimization framework with a latent mask, STR-Match generates temporally consistent and visually faithful videos, maintaining strong performance even under significant domain transformations while preserving key visual attributes of the source. Extensive experiments demonstrate that STR-Match consistently outperforms existing methods in both visual quality and spatiotemporal consistency.