DIMO: Diverse 3D-bewegingsgeneratie voor willekeurige objecten

DIMO: Diverse 3D Motion Generation for Arbitrary Objects

November 10, 2025

Auteurs: Linzhan Mou, Jiahui Lei, Chen Wang, Lingjie Liu, Kostas Daniilidis

cs.AI

Samenvatting

Wij presenteren DIMO, een generatieve aanpak die in staat is om diverse 3D-bewegingen voor willekeurige objecten te genereren vanuit een enkele afbeelding. De kern van onze werkwijze is het benutten van de rijke voorkennis in goed getrainde videomodellen om de algemene bewegingspatronen te extraheren en deze vervolgens in te bedden in een gedeelde laagdimensionale latente ruimte. Concreet genereren we eerst meerdere video's van hetzelfde object met uiteenlopende bewegingen. Vervolgens embedden we elke beweging in een latente vector en trainen we een gedeelde bewegingdecoder om de verdeling van bewegingen te leren, gerepresenteerd door een gestructureerde en compacte bewegingsrepresentatie: neurale sleutelpunt-trajecten. De canonieke 3D-gaussiaanse verdelingen worden vervolgens aangestuurd door deze sleutelpunten en samengesmolten om de geometrie en het uiterlijk te modelleren. Tijdens de inferentiefase, met de geleerde latente ruimte, kunnen we direct diverse 3D-bewegingen bemonsteren in één enkele voorwaartse passage en ondersteunen we verschillende interessante toepassingen, waaronder 3D-bewegingsinterpolatie en taalgestuurde beweginggeneratie. Onze projectpagina is beschikbaar op https://linzhanm.github.io/dimo.

English

We present DIMO, a generative approach capable of generating diverse 3D motions for arbitrary objects from a single image. The core idea of our work is to leverage the rich priors in well-trained video models to extract the common motion patterns and then embed them into a shared low-dimensional latent space. Specifically, we first generate multiple videos of the same object with diverse motions. We then embed each motion into a latent vector and train a shared motion decoder to learn the distribution of motions represented by a structured and compact motion representation, i.e., neural key point trajectories. The canonical 3D Gaussians are then driven by these key points and fused to model the geometry and appearance. During inference time with learned latent space, we can instantly sample diverse 3D motions in a single-forward pass and support several interesting applications including 3D motion interpolation and language-guided motion generation. Our project page is available at https://linzhanm.github.io/dimo.