STR-Match: Abgleich der räumlich-zeitlichen Relevanzbewertung für trainingsfreie Videobearbeitung

STR-Match: Matching SpatioTemporal Relevance Score for Training-Free Video Editing

June 28, 2025

Autoren: Junsung Lee, Junoh Kang, Bohyung Han

cs.AI

Zusammenfassung

Bisherige Methoden zur textgesteuerten Videobearbeitung leiden häufig unter zeitlicher Inkonsistenz, Bewegungsverzerrungen und – am auffälligsten – begrenzten Domänentransformationen. Wir führen diese Einschränkungen auf eine unzureichende Modellierung der spatiotemporalen Pixelrelevanz während des Bearbeitungsprozesses zurück. Um dies zu beheben, schlagen wir STR-Match vor, einen trainingsfreien Video-Bearbeitungsalgorithmus, der visuell ansprechende und spatiotemporalkohärente Videos durch latente Optimierung erzeugt, die durch unseren neuartigen STR-Score gesteuert wird. Der Score erfasst die spatiotemporale Pixelrelevanz über benachbarte Frames hinweg, indem er 2D-räumliche Aufmerksamkeit und 1D-zeitliche Module in Text-zu-Video (T2V)-Diffusionsmodellen nutzt, ohne den Overhead rechenintensiver 3D-Aufmerksamkeitsmechanismen. In ein latentes Optimierungsframework mit einer latenten Maske integriert, erzeugt STR-Match zeitlich konsistente und visuell treue Videos, die selbst bei signifikanten Domänentransformationen eine starke Leistung beibehalten und dabei die wesentlichen visuellen Attribute der Quelle bewahren. Umfangreiche Experimente zeigen, dass STR-Match bestehende Methoden sowohl in der visuellen Qualität als auch in der spatiotemporalen Konsistenz konsequent übertrifft.

English

Previous text-guided video editing methods often suffer from temporal inconsistency, motion distortion, and-most notably-limited domain transformation. We attribute these limitations to insufficient modeling of spatiotemporal pixel relevance during the editing process. To address this, we propose STR-Match, a training-free video editing algorithm that produces visually appealing and spatiotemporally coherent videos through latent optimization guided by our novel STR score. The score captures spatiotemporal pixel relevance across adjacent frames by leveraging 2D spatial attention and 1D temporal modules in text-to-video (T2V) diffusion models, without the overhead of computationally expensive 3D attention mechanisms. Integrated into a latent optimization framework with a latent mask, STR-Match generates temporally consistent and visually faithful videos, maintaining strong performance even under significant domain transformations while preserving key visual attributes of the source. Extensive experiments demonstrate that STR-Match consistently outperforms existing methods in both visual quality and spatiotemporal consistency.