LeviTor: 3D Trajectoriegerichte Beeld-naar-Video Synthese
LeviTor: 3D Trajectory Oriented Image-to-Video Synthesis
December 19, 2024
Auteurs: Hanlin Wang, Hao Ouyang, Qiuyu Wang, Wen Wang, Ka Leong Cheng, Qifeng Chen, Yujun Shen, Limin Wang
cs.AI
Samenvatting
De intuïtieve aard van sleepgebaseerde interactie heeft geleid tot een groeiende acceptatie voor het controleren van objecttrajecten in beeld-naar-video synthese. Toch worden bestaande methoden die slepen in de 2D-ruimte uitvoeren vaak geconfronteerd met ambiguïteit bij het omgaan met bewegingen buiten het vlak. In dit werk breiden we de interactie uit met een nieuwe dimensie, namelijk de dieptedimensie, zodat gebruikers een relatieve diepte kunnen toewijzen aan elk punt op het traject. Op die manier erft ons nieuwe interactieparadigma niet alleen het gemak van 2D slepen, maar vergemakkelijkt het ook de controle over trajecten in de 3D-ruimte, waardoor de creatieve mogelijkheden worden verbreed. We stellen een baanbrekende methode voor 3D-trajectcontrole in beeld-naar-video synthese voor door objectmaskers abstract te maken tot een paar clusterpunten. Deze punten, vergezeld van de diepte-informatie en de instantie-informatie, worden uiteindelijk ingevoerd in een videodiffusiemodel als het besturingssignaal. Uitgebreide experimenten bevestigen de effectiviteit van onze benadering, genaamd LeviTor, bij het nauwkeurig manipuleren van de objectbewegingen bij het produceren van fotorealistische video's uit statische beelden. Projectpagina: https://ppetrichor.github.io/levitor.github.io/
English
The intuitive nature of drag-based interaction has led to its growing
adoption for controlling object trajectories in image-to-video synthesis.
Still, existing methods that perform dragging in the 2D space usually face
ambiguity when handling out-of-plane movements. In this work, we augment the
interaction with a new dimension, i.e., the depth dimension, such that users
are allowed to assign a relative depth for each point on the trajectory. That
way, our new interaction paradigm not only inherits the convenience from 2D
dragging, but facilitates trajectory control in the 3D space, broadening the
scope of creativity. We propose a pioneering method for 3D trajectory control
in image-to-video synthesis by abstracting object masks into a few cluster
points. These points, accompanied by the depth information and the instance
information, are finally fed into a video diffusion model as the control
signal. Extensive experiments validate the effectiveness of our approach,
dubbed LeviTor, in precisely manipulating the object movements when producing
photo-realistic videos from static images. Project page:
https://ppetrichor.github.io/levitor.github.io/