STR-Match : Appariement du Score de Pertinence Spatio-Temporelle pour l'Édition Vidéo Sans Apprentissage

STR-Match: Matching SpatioTemporal Relevance Score for Training-Free Video Editing

June 28, 2025

Auteurs: Junsung Lee, Junoh Kang, Bohyung Han

cs.AI

Résumé

Les méthodes précédentes d'édition vidéo guidée par texte souffrent souvent d'incohérence temporelle, de distorsion du mouvement et, surtout, de transformations de domaine limitées. Nous attribuons ces limitations à une modélisation insuffisante de la pertinence spatiotemporelle des pixels pendant le processus d'édition. Pour y remédier, nous proposons STR-Match, un algorithme d'édition vidéo sans apprentissage qui produit des vidéos visuellement attrayantes et cohérentes spatiotemporellement grâce à une optimisation latente guidée par notre nouveau score STR. Ce score capture la pertinence spatiotemporelle des pixels entre les images adjacentes en exploitant des modules d'attention spatiale 2D et temporelle 1D dans les modèles de diffusion texte-vidéo (T2V), sans recourir à des mécanismes d'attention 3D coûteux en calcul. Intégré dans un cadre d'optimisation latente avec un masque latent, STR-Match génère des vidéos temporellement cohérentes et visuellement fidèles, tout en maintenant des performances solides même sous des transformations de domaine significatives et en préservant les attributs visuels clés de la source. Des expériences approfondies démontrent que STR-Match surpasse systématiquement les méthodes existantes en termes de qualité visuelle et de cohérence spatiotemporelle.

English

Previous text-guided video editing methods often suffer from temporal inconsistency, motion distortion, and-most notably-limited domain transformation. We attribute these limitations to insufficient modeling of spatiotemporal pixel relevance during the editing process. To address this, we propose STR-Match, a training-free video editing algorithm that produces visually appealing and spatiotemporally coherent videos through latent optimization guided by our novel STR score. The score captures spatiotemporal pixel relevance across adjacent frames by leveraging 2D spatial attention and 1D temporal modules in text-to-video (T2V) diffusion models, without the overhead of computationally expensive 3D attention mechanisms. Integrated into a latent optimization framework with a latent mask, STR-Match generates temporally consistent and visually faithful videos, maintaining strong performance even under significant domain transformations while preserving key visual attributes of the source. Extensive experiments demonstrate that STR-Match consistently outperforms existing methods in both visual quality and spatiotemporal consistency.