DIMO: Vielfältige 3D-Bewegungsgenerierung für beliebige Objekte

DIMO: Diverse 3D Motion Generation for Arbitrary Objects

November 10, 2025

papers.authors: Linzhan Mou, Jiahui Lei, Chen Wang, Lingjie Liu, Kostas Daniilidis

cs.AI

papers.abstract

Wir stellen DIMO vor, einen generativen Ansatz, der in der Lage ist, diverse 3D-Bewegungen für beliebige Objekte aus einem einzelnen Bild zu erzeugen. Der Kern unserer Arbeit besteht darin, die reichhaltigen Priori-Informationen vortrainierter Videomodelle zu nutzen, um gemeinsame Bewegungsmuster zu extrahieren und diese in einen gemeinsamen niedrigdimensionalen latenten Raum einzubetten. Konkret generieren wir zunächst mehrere Videos desselben Objekts mit unterschiedlichen Bewegungen. Anschließend betten wir jede Bewegung in einen latenten Vektor ein und trainieren einen gemeinsamen Bewegungsdecoder, um die Verteilung von Bewegungen zu erlernen, die durch eine strukturierte und kompakte Bewegungsrepräsentation – nämlich neuronale Trajektorien von Schlüsselpunkten – dargestellt wird. Die kanonischen 3D-Gaußschen werden dann durch diese Schlüsselpunkte gesteuert und fusioniert, um die Geometrie und das Erscheinungsbild zu modellieren. Zur Inferenzzeit können wir mit dem gelernten latenten Raum sofort diverse 3D-Bewegungen in einem einzigen Vorwärtsdurchlauf abtasten und mehrere interessante Anwendungen unterstützen, darunter 3D-Bewegungsinterpolation und sprachgesteuerte Bewegungserzeugung. Unsere Projektseite ist verfügbar unter https://linzhanm.github.io/dimo.

English

We present DIMO, a generative approach capable of generating diverse 3D motions for arbitrary objects from a single image. The core idea of our work is to leverage the rich priors in well-trained video models to extract the common motion patterns and then embed them into a shared low-dimensional latent space. Specifically, we first generate multiple videos of the same object with diverse motions. We then embed each motion into a latent vector and train a shared motion decoder to learn the distribution of motions represented by a structured and compact motion representation, i.e., neural key point trajectories. The canonical 3D Gaussians are then driven by these key points and fused to model the geometry and appearance. During inference time with learned latent space, we can instantly sample diverse 3D motions in a single-forward pass and support several interesting applications including 3D motion interpolation and language-guided motion generation. Our project page is available at https://linzhanm.github.io/dimo.