Универсальное редактирование видеоконтента, действий и динамики без обучения

Versatile Editing of Video Content, Actions, and Dynamics without Training

March 18, 2026

Авторы: Vladimir Kulikov, Roni Paiss, Andrey Voynov, Inbar Mosseri, Tali Dekel, Tomer Michaeli

cs.AI

Аннотация

В последние годы управляемая генерация видео достигла значительного прогресса. Однако редактирование действий и динамических событий или вставка содержимого, которое должно влиять на поведение других объектов в реальных видео, остаются серьезной проблемой. Существующие обученные модели испытывают трудности со сложными правками, вероятно, из-за сложности сбора релевантных обучающих данных. Аналогично, существующие методы, не требующие обучения, по своей сути ограничены правками, сохраняющими структуру и движение, и не поддерживают модификацию движения или взаимодействий. В данной работе мы представляем DynaEdit — метод редактирования видео, не требующий обучения, который раскрывает широкие возможности редактирования с помощью предварительно обученных потоковых моделей «текст-видео». Наш метод опирается на недавно представленный подход без инверсии, который не вмешивается во внутреннюю структуру модели и, следовательно, является модельно-агностичным. Мы показываем, что наивная попытка адаптировать этот подход к общему неограниченному редактированию приводит к серьезному низкочастотному рассогласованию и высокочастотному дрожанию. Мы объясняем источники этих явлений и вводим новые механизмы для их преодоления. В ходе обширных экспериментов мы демонстрируем, что DynaEdit достигает передовых результатов в сложных задачах редактирования видео на основе текста, включая изменение действий, вставку объектов, взаимодействующих со сценой, и введение глобальных эффектов.

English

Controlled video generation has seen drastic improvements in recent years. However, editing actions and dynamic events, or inserting contents that should affect the behaviors of other objects in real-world videos, remains a major challenge. Existing trained models struggle with complex edits, likely due to the difficulty of collecting relevant training data. Similarly, existing training-free methods are inherently restricted to structure- and motion-preserving edits and do not support modification of motion or interactions. Here, we introduce DynaEdit, a training-free editing method that unlocks versatile video editing capabilities with pretrained text-to-video flow models. Our method relies on the recently introduced inversion-free approach, which does not intervene in the model internals, and is thus model-agnostic. We show that naively attempting to adapt this approach to general unconstrained editing results in severe low-frequency misalignment and high-frequency jitter. We explain the sources for these phenomena and introduce novel mechanisms for overcoming them. Through extensive experiments, we show that DynaEdit achieves state-of-the-art results on complex text-based video editing tasks, including modifying actions, inserting objects that interact with the scene, and introducing global effects.