LeviTor : Synthèse d'Images vers Vidéo Orientée Trajectoire 3D

LeviTor: 3D Trajectory Oriented Image-to-Video Synthesis

December 19, 2024

Auteurs: Hanlin Wang, Hao Ouyang, Qiuyu Wang, Wen Wang, Ka Leong Cheng, Qifeng Chen, Yujun Shen, Limin Wang

cs.AI

Résumé

La nature intuitive de l'interaction basée sur le glisser a conduit à son adoption croissante pour contrôler les trajectoires d'objets dans la synthèse d'images en vidéo. Cependant, les méthodes existantes qui effectuent un glissement dans l'espace 2D font généralement face à des ambiguïtés lors de la gestion des mouvements hors plan. Dans ce travail, nous enrichissons l'interaction avec une nouvelle dimension, c'est-à-dire la dimension de profondeur, permettant aux utilisateurs d'attribuer une profondeur relative à chaque point de la trajectoire. De cette manière, notre nouveau paradigme d'interaction hérite non seulement de la commodité du glissement en 2D, mais facilite le contrôle des trajectoires dans l'espace 3D, élargissant ainsi le champ de la créativité. Nous proposons une méthode novatrice de contrôle de trajectoire en 3D dans la synthèse d'images en vidéo en abstrayant les masques d'objets en quelques points de cluster. Ces points, accompagnés des informations de profondeur et d'instance, sont finalement introduits dans un modèle de diffusion vidéo en tant que signal de contrôle. Des expériences approfondies valident l'efficacité de notre approche, baptisée LeviTor, pour manipuler précisément les mouvements d'objets lors de la production de vidéos photoréalistes à partir d'images statiques. Page du projet : https://ppetrichor.github.io/levitor.github.io/

English

The intuitive nature of drag-based interaction has led to its growing adoption for controlling object trajectories in image-to-video synthesis. Still, existing methods that perform dragging in the 2D space usually face ambiguity when handling out-of-plane movements. In this work, we augment the interaction with a new dimension, i.e., the depth dimension, such that users are allowed to assign a relative depth for each point on the trajectory. That way, our new interaction paradigm not only inherits the convenience from 2D dragging, but facilitates trajectory control in the 3D space, broadening the scope of creativity. We propose a pioneering method for 3D trajectory control in image-to-video synthesis by abstracting object masks into a few cluster points. These points, accompanied by the depth information and the instance information, are finally fed into a video diffusion model as the control signal. Extensive experiments validate the effectiveness of our approach, dubbed LeviTor, in precisely manipulating the object movements when producing photo-realistic videos from static images. Project page: https://ppetrichor.github.io/levitor.github.io/