MagicStick: Управляемое редактирование видео с помощью контрольных элементов трансформации

MagicStick: Controllable Video Editing via Control Handle Transformations

December 5, 2023

Авторы: Yue Ma, Xiaodong Cun, Yingqing He, Chenyang Qi, Xintao Wang, Ying Shan, Xiu Li, Qifeng Chen

cs.AI

Аннотация

Редактирование видео на основе текста в последнее время привлекает значительный интерес в изменении стиля или замене объектов со схожей структурой. Помимо этого, мы демонстрируем, что такие свойства, как форма, размер, местоположение, движение и т.д., также могут быть отредактированы в видео. Наше ключевое наблюдение заключается в том, что преобразования ключевых кадров для конкретных внутренних признаков (например, карт границ объектов или позы человека) могут легко распространяться на другие кадры, предоставляя руководство для генерации. Таким образом, мы предлагаем MagicStick, управляемый метод редактирования видео, который изменяет свойства видео, используя преобразования извлеченных внутренних управляющих сигналов. В частности, для сохранения внешнего вида мы расширяем как предварительно обученную модель диффузии изображений, так и ControlNet до временного измерения и обучаем слои низкоранговой адаптации (LORA) для подгонки под конкретные сцены. Затем, в процессе редактирования, мы применяем фреймворк инверсии и редактирования. В отличие от других подходов, доработанный ControlNet используется как в инверсии, так и в генерации для управления вниманием с предложенным смешиванием внимания между пространственными картами внимания инверсии и редактирования. Несмотря на простоту, наш метод является первым, который демонстрирует возможность редактирования свойств видео на основе предварительно обученной текстово-изобразительной модели. Мы представляем эксперименты на множестве примеров в рамках нашего унифицированного фреймворка. Мы также сравниваем с редактированием на основе текста с учетом формы и генерацией видео с ручной проработкой движения, демонстрируя превосходство нашей временной согласованности и возможностей редактирования по сравнению с предыдущими работами. Код и модели будут опубликованы в открытом доступе.

English

Text-based video editing has recently attracted considerable interest in changing the style or replacing the objects with a similar structure. Beyond this, we demonstrate that properties such as shape, size, location, motion, etc., can also be edited in videos. Our key insight is that the keyframe transformations of the specific internal feature (e.g., edge maps of objects or human pose), can easily propagate to other frames to provide generation guidance. We thus propose MagicStick, a controllable video editing method that edits the video properties by utilizing the transformation on the extracted internal control signals. In detail, to keep the appearance, we inflate both the pretrained image diffusion model and ControlNet to the temporal dimension and train low-rank adaptions (LORA) layers to fit the specific scenes. Then, in editing, we perform an inversion and editing framework. Differently, finetuned ControlNet is introduced in both inversion and generation for attention guidance with the proposed attention remix between the spatial attention maps of inversion and editing. Yet succinct, our method is the first method to show the ability of video property editing from the pre-trained text-to-image model. We present experiments on numerous examples within our unified framework. We also compare with shape-aware text-based editing and handcrafted motion video generation, demonstrating our superior temporal consistency and editing capability than previous works. The code and models will be made publicly available.