MagicStick: Edição de Vídeo Controlável via Manipulação de Transformações

MagicStick: Controllable Video Editing via Control Handle Transformations

December 5, 2023

Autores: Yue Ma, Xiaodong Cun, Yingqing He, Chenyang Qi, Xintao Wang, Ying Shan, Xiu Li, Qifeng Chen

cs.AI

Resumo

A edição de vídeo baseada em texto tem recentemente atraído considerável interesse na alteração de estilo ou substituição de objetos com uma estrutura semelhante. Além disso, demonstramos que propriedades como forma, tamanho, localização, movimento, etc., também podem ser editadas em vídeos. Nossa principal percepção é que as transformações de quadros-chave de características internas específicas (por exemplo, mapas de borda de objetos ou pose humana) podem facilmente se propagar para outros quadros, fornecendo orientação para a geração. Assim, propomos o MagicStick, um método de edição de vídeo controlável que edita as propriedades do vídeo utilizando a transformação nos sinais de controle internos extraídos. Em detalhes, para manter a aparência, expandimos tanto o modelo de difusão de imagens pré-treinado quanto o ControlNet para a dimensão temporal e treinamos camadas de adaptação de baixa classificação (LORA) para se ajustar a cenas específicas. Em seguida, na edição, realizamos uma estrutura de inversão e edição. Diferentemente, o ControlNet ajustado é introduzido tanto na inversão quanto na geração para orientação de atenção com a mistura de atenção proposta entre os mapas de atenção espacial da inversão e da edição. Apesar de sucinto, nosso método é o primeiro a mostrar a capacidade de edição de propriedades de vídeo a partir de um modelo pré-treinado de texto para imagem. Apresentamos experimentos em diversos exemplos dentro de nossa estrutura unificada. Também comparamos com a edição baseada em texto consciente da forma e a geração de vídeo de movimento artesanal, demonstrando nossa superior consistência temporal e capacidade de edição em relação a trabalhos anteriores. O código e os modelos serão disponibilizados publicamente.

English

Text-based video editing has recently attracted considerable interest in changing the style or replacing the objects with a similar structure. Beyond this, we demonstrate that properties such as shape, size, location, motion, etc., can also be edited in videos. Our key insight is that the keyframe transformations of the specific internal feature (e.g., edge maps of objects or human pose), can easily propagate to other frames to provide generation guidance. We thus propose MagicStick, a controllable video editing method that edits the video properties by utilizing the transformation on the extracted internal control signals. In detail, to keep the appearance, we inflate both the pretrained image diffusion model and ControlNet to the temporal dimension and train low-rank adaptions (LORA) layers to fit the specific scenes. Then, in editing, we perform an inversion and editing framework. Differently, finetuned ControlNet is introduced in both inversion and generation for attention guidance with the proposed attention remix between the spatial attention maps of inversion and editing. Yet succinct, our method is the first method to show the ability of video property editing from the pre-trained text-to-image model. We present experiments on numerous examples within our unified framework. We also compare with shape-aware text-based editing and handcrafted motion video generation, demonstrating our superior temporal consistency and editing capability than previous works. The code and models will be made publicly available.