MagicStick: Modifica Video Controllabile tramite Trasformazioni di Maniglie di Controllo

MagicStick: Controllable Video Editing via Control Handle Transformations

December 5, 2023

Autori: Yue Ma, Xiaodong Cun, Yingqing He, Chenyang Qi, Xintao Wang, Ying Shan, Xiu Li, Qifeng Chen

cs.AI

Abstract

L'editing video basato su testo ha recentemente attirato notevole interesse per la modifica dello stile o la sostituzione di oggetti con una struttura simile. Oltre a ciò, dimostriamo che proprietà come forma, dimensione, posizione, movimento, ecc., possono essere modificate anche nei video. La nostra intuizione chiave è che le trasformazioni dei fotogrammi chiave di specifiche caratteristiche interne (ad esempio, mappe dei bordi degli oggetti o pose umane) possono propagarsi facilmente ad altri fotogrammi per fornire una guida alla generazione. Proponiamo quindi MagicStick, un metodo di editing video controllabile che modifica le proprietà del video utilizzando la trasformazione sui segnali di controllo interni estratti. Nel dettaglio, per mantenere l'aspetto, espandiamo sia il modello di diffusione di immagini pre-addestrato che ControlNet alla dimensione temporale e addestriamo strati di adattamento a basso rango (LORA) per adattarli a scene specifiche. Successivamente, durante l'editing, implementiamo un framework di inversione e modifica. Diversamente, un ControlNet fine-tuned viene introdotto sia nell'inversione che nella generazione per la guida dell'attenzione con la proposta di un remix dell'attenzione tra le mappe di attenzione spaziale dell'inversione e della modifica. Sebbene sintetico, il nostro metodo è il primo a dimostrare la capacità di editing delle proprietà video a partire da un modello pre-addestrato di testo-immagine. Presentiamo esperimenti su numerosi esempi all'interno del nostro framework unificato. Confrontiamo inoltre l'editing basato su testo con consapevolezza della forma e la generazione video con movimento artigianale, dimostrando la nostra superiore coerenza temporale e capacità di editing rispetto ai lavori precedenti. Il codice e i modelli saranno resi pubblicamente disponibili.

English

Text-based video editing has recently attracted considerable interest in changing the style or replacing the objects with a similar structure. Beyond this, we demonstrate that properties such as shape, size, location, motion, etc., can also be edited in videos. Our key insight is that the keyframe transformations of the specific internal feature (e.g., edge maps of objects or human pose), can easily propagate to other frames to provide generation guidance. We thus propose MagicStick, a controllable video editing method that edits the video properties by utilizing the transformation on the extracted internal control signals. In detail, to keep the appearance, we inflate both the pretrained image diffusion model and ControlNet to the temporal dimension and train low-rank adaptions (LORA) layers to fit the specific scenes. Then, in editing, we perform an inversion and editing framework. Differently, finetuned ControlNet is introduced in both inversion and generation for attention guidance with the proposed attention remix between the spatial attention maps of inversion and editing. Yet succinct, our method is the first method to show the ability of video property editing from the pre-trained text-to-image model. We present experiments on numerous examples within our unified framework. We also compare with shape-aware text-based editing and handcrafted motion video generation, demonstrating our superior temporal consistency and editing capability than previous works. The code and models will be made publicly available.