Modifica Versatile di Contenuti, Azioni e Dinamiche Video senza Addestramento
Versatile Editing of Video Content, Actions, and Dynamics without Training
March 18, 2026
Autori: Vladimir Kulikov, Roni Paiss, Andrey Voynov, Inbar Mosseri, Tali Dekel, Tomer Michaeli
cs.AI
Abstract
La generazione controllata di video ha registrato miglioramenti drastici negli ultimi anni. Tuttavia, modificare azioni ed eventi dinamici, o inserire contenuti che dovrebbero influenzare il comportamento di altri oggetti in video del mondo reale, rimane una sfida importante. I modelli esistenti addestrati faticano con modifiche complesse, probabilmente a causa della difficoltà di raccogliere dati di addestramento pertinenti. Allo stesso modo, i metodi esistenti *training-free* sono intrinsecamente limitati a modifiche che preservano struttura e movimento e non supportano la modifica del moto o delle interazioni. Qui presentiamo DynaEdit, un metodo di editing *training-free* che sblocca capacità versatili di modifica video con modelli di flusso *text-to-video* preaddestrati. Il nostro metodo si basa sull'approccio *inversion-free* recentemente introdotto, che non interviene sugli aspetti interni del modello ed è quindi *model-agnostic*. Dimostriamo che tentare ingenuamente di adattare questo approccio a un editing generale e senza vincoli si traduce in un grave disallineamento a basse frequenze e un *jitter* ad alte frequenze. Spieghiamo le fonti di questi fenomeni e introduciamo nuovi meccanismi per superarli. Attraverso esperimenti estesi, mostriamo che DynaEdit ottiene risultati allo stato dell'arte su compiti complessi di editing video basato su testo, inclusi la modifica di azioni, l'inserimento di oggetti che interagiscono con la scena e l'introduzione di effetti globali.
English
Controlled video generation has seen drastic improvements in recent years. However, editing actions and dynamic events, or inserting contents that should affect the behaviors of other objects in real-world videos, remains a major challenge. Existing trained models struggle with complex edits, likely due to the difficulty of collecting relevant training data. Similarly, existing training-free methods are inherently restricted to structure- and motion-preserving edits and do not support modification of motion or interactions. Here, we introduce DynaEdit, a training-free editing method that unlocks versatile video editing capabilities with pretrained text-to-video flow models. Our method relies on the recently introduced inversion-free approach, which does not intervene in the model internals, and is thus model-agnostic. We show that naively attempting to adapt this approach to general unconstrained editing results in severe low-frequency misalignment and high-frequency jitter. We explain the sources for these phenomena and introduce novel mechanisms for overcoming them. Through extensive experiments, we show that DynaEdit achieves state-of-the-art results on complex text-based video editing tasks, including modifying actions, inserting objects that interact with the scene, and introducing global effects.