MagicStick : Édition vidéo contrôlable via des poignées de contrôle Transformations

MagicStick: Controllable Video Editing via Control Handle Transformations

December 5, 2023

Auteurs: Yue Ma, Xiaodong Cun, Yingqing He, Chenyang Qi, Xintao Wang, Ying Shan, Xiu Li, Qifeng Chen

cs.AI

Résumé

L'édition vidéo basée sur le texte a récemment suscité un intérêt considérable pour modifier le style ou remplacer des objets ayant une structure similaire. Au-delà de cela, nous démontrons que des propriétés telles que la forme, la taille, la position, le mouvement, etc., peuvent également être modifiées dans les vidéos. Notre idée clé est que les transformations des images clés d'une caractéristique interne spécifique (par exemple, les cartes de contours des objets ou la pose humaine) peuvent facilement se propager à d'autres images pour fournir un guide de génération. Nous proposons donc MagicStick, une méthode d'édition vidéo contrôlable qui modifie les propriétés de la vidéo en utilisant la transformation des signaux de contrôle internes extraits. En détail, pour préserver l'apparence, nous étendons à la dimension temporelle à la fois le modèle de diffusion d'images pré-entraîné et ControlNet, et nous entraînons des couches d'adaptation à faible rang (LORA) pour s'adapter à des scènes spécifiques. Ensuite, lors de l'édition, nous mettons en œuvre un cadre d'inversion et d'édition. Différemment, ControlNet affiné est introduit à la fois dans l'inversion et la génération pour guider l'attention avec un mélange d'attention proposé entre les cartes d'attention spatiale de l'inversion et de l'édition. Bien que succincte, notre méthode est la première à montrer la capacité d'édition des propriétés vidéo à partir d'un modèle texte-à-image pré-entraîné. Nous présentons des expériences sur de nombreux exemples dans notre cadre unifié. Nous comparons également avec l'édition basée sur le texte consciente de la forme et la génération de vidéos à mouvement artisanal, démontrant notre supériorité en termes de cohérence temporelle et de capacité d'édition par rapport aux travaux précédents. Le code et les modèles seront rendus publics.

English

Text-based video editing has recently attracted considerable interest in changing the style or replacing the objects with a similar structure. Beyond this, we demonstrate that properties such as shape, size, location, motion, etc., can also be edited in videos. Our key insight is that the keyframe transformations of the specific internal feature (e.g., edge maps of objects or human pose), can easily propagate to other frames to provide generation guidance. We thus propose MagicStick, a controllable video editing method that edits the video properties by utilizing the transformation on the extracted internal control signals. In detail, to keep the appearance, we inflate both the pretrained image diffusion model and ControlNet to the temporal dimension and train low-rank adaptions (LORA) layers to fit the specific scenes. Then, in editing, we perform an inversion and editing framework. Differently, finetuned ControlNet is introduced in both inversion and generation for attention guidance with the proposed attention remix between the spatial attention maps of inversion and editing. Yet succinct, our method is the first method to show the ability of video property editing from the pre-trained text-to-image model. We present experiments on numerous examples within our unified framework. We also compare with shape-aware text-based editing and handcrafted motion video generation, demonstrating our superior temporal consistency and editing capability than previous works. The code and models will be made publicly available.