DIMO : Génération de mouvements 3D diversifiés pour des objets arbitraires

DIMO: Diverse 3D Motion Generation for Arbitrary Objects

November 10, 2025

papers.authors: Linzhan Mou, Jiahui Lei, Chen Wang, Lingjie Liu, Kostas Daniilidis

cs.AI

papers.abstract

Nous présentons DIMO, une approche générative capable de générer des mouvements 3D diversifiés pour des objets arbitraires à partir d'une seule image. L'idée centrale de notre travail est d'exploiter les riches connaissances a priori des modèles vidéo pré-entraînés pour extraire les motifs de mouvement communs, puis de les intégrer dans un espace latent partagé de faible dimension. Plus précisément, nous générons d'abord plusieurs vidéos du même objet avec des mouvements variés. Nous intégrons ensuite chaque mouvement dans un vecteur latent et entraînons un décodeur de mouvement partagé pour apprendre la distribution des mouvements représentés par une représentation motionnelle structurée et compacte, à savoir les trajectoires de points clés neuronaux. Les Gaussiennes 3D canoniques sont ensuite animées par ces points clés et fusionnées pour modéliser la géométrie et l'apparence. Durant l'inférence avec l'espace latent appris, nous pouvons échantillonner instantanément des mouvements 3D diversifiés en une seule passe avant et prendre en charge plusieurs applications intéressantes, notamment l'interpolation de mouvements 3D et la génération de mouvements guidée par le langage. Notre page projet est disponible à l'adresse https://linzhanm.github.io/dimo.

English

We present DIMO, a generative approach capable of generating diverse 3D motions for arbitrary objects from a single image. The core idea of our work is to leverage the rich priors in well-trained video models to extract the common motion patterns and then embed them into a shared low-dimensional latent space. Specifically, we first generate multiple videos of the same object with diverse motions. We then embed each motion into a latent vector and train a shared motion decoder to learn the distribution of motions represented by a structured and compact motion representation, i.e., neural key point trajectories. The canonical 3D Gaussians are then driven by these key points and fused to model the geometry and appearance. During inference time with learned latent space, we can instantly sample diverse 3D motions in a single-forward pass and support several interesting applications including 3D motion interpolation and language-guided motion generation. Our project page is available at https://linzhanm.github.io/dimo.