MotionCanvas: Cinematische Shotontwerp met Controleerbare Afbeelding-naar-Video Generatie

MotionCanvas: Cinematic Shot Design with Controllable Image-to-Video Generation

February 6, 2025

Auteurs: Jinbo Xing, Long Mai, Cusuh Ham, Jiahui Huang, Aniruddha Mahapatra, Chi-Wing Fu, Tien-Tsin Wong, Feng Liu

cs.AI

Samenvatting

Dit artikel presenteert een methode waarmee gebruikers cinematografische videoshots kunnen ontwerpen in de context van beeld-naar-video generatie. Shotontwerp, een cruciaal aspect van filmmaken, omvat het zorgvuldig plannen van zowel camerabewegingen als objectbewegingen in een scène. Het mogelijk maken van intuïtief shotontwerp in moderne beeld-naar-video generatiesystemen brengt echter twee belangrijke uitdagingen met zich mee: ten eerste, het effectief vastleggen van de gebruikersintenties op het bewegingsontwerp, waarbij zowel camerabewegingen als objectbewegingen in de scène gezamenlijk moeten worden gespecificeerd; en ten tweede, het representeren van bewegingsinformatie die effectief kan worden gebruikt door een video diffusie model om de beeldanimaties te synthetiseren. Om deze uitdagingen aan te pakken, introduceren we MotionCanvas, een methode die door gebruikers gestuurde controles integreert in beeld-naar-video (I2V) generatiemodellen, waardoor gebruikers zowel object- als camerabewegingen op een scène-bewuste manier kunnen regelen. Door inzichten uit de klassieke computergraphics en hedendaagse videogeneratietechnieken te combineren, tonen we de mogelijkheid om 3D-bewuste bewegingscontrole te bereiken in I2V synthese zonder dat er kostbare 3D-gerelateerde trainingsgegevens nodig zijn. MotionCanvas stelt gebruikers in staat om intuïtief scène-ruimte bewegingsintenties weer te geven en vertaalt deze naar ruimtelijk-temporele bewegingsconditioneringssignalen voor video diffusiemodellen. We tonen de effectiviteit van onze methode aan op een breed scala aan echte beeldinhoud en shot-ontwerpscenario's, waarbij we de potentie benadrukken om de creatieve workflows in digitale contentcreatie te verbeteren en aan te passen aan verschillende beeld- en video-bewerkingsapplicaties.

English

This paper presents a method that allows users to design cinematic video shots in the context of image-to-video generation. Shot design, a critical aspect of filmmaking, involves meticulously planning both camera movements and object motions in a scene. However, enabling intuitive shot design in modern image-to-video generation systems presents two main challenges: first, effectively capturing user intentions on the motion design, where both camera movements and scene-space object motions must be specified jointly; and second, representing motion information that can be effectively utilized by a video diffusion model to synthesize the image animations. To address these challenges, we introduce MotionCanvas, a method that integrates user-driven controls into image-to-video (I2V) generation models, allowing users to control both object and camera motions in a scene-aware manner. By connecting insights from classical computer graphics and contemporary video generation techniques, we demonstrate the ability to achieve 3D-aware motion control in I2V synthesis without requiring costly 3D-related training data. MotionCanvas enables users to intuitively depict scene-space motion intentions, and translates them into spatiotemporal motion-conditioning signals for video diffusion models. We demonstrate the effectiveness of our method on a wide range of real-world image content and shot-design scenarios, highlighting its potential to enhance the creative workflows in digital content creation and adapt to various image and video editing applications.