DIMO: Generación Diversa de Movimientos 3D para Objetos Arbitrarios

DIMO: Diverse 3D Motion Generation for Arbitrary Objects

November 10, 2025

Autores: Linzhan Mou, Jiahui Lei, Chen Wang, Lingjie Liu, Kostas Daniilidis

cs.AI

Resumen

Presentamos DIMO, un enfoque generativo capaz de producir movimientos 3D diversos para objetos arbitrarios a partir de una única imagen. La idea central de nuestro trabajo es aprovechar los ricos *priors* presentes en modelos de video bien entrenados para extraer los patrones de movimiento comunes y luego incrustarlos en un espacio latente compartido de baja dimensionalidad. Específicamente, primero generamos múltiples videos del mismo objeto con movimientos diversos. Luego, incrustamos cada movimiento en un vector latente y entrenamos un decodificador de movimiento compartido para aprender la distribución de movimientos representada por una representación de movimiento estructurada y compacta, es decir, trayectorias de puntos clave neuronales. Los Gaussianos 3D canónicos son entonces impulsados por estos puntos clave y fusionados para modelar la geometría y la apariencia. Durante la inferencia, con el espacio latente ya aprendido, podemos muestrear instantáneamente diversos movimientos 3D en un único paso hacia adelante y admitir varias aplicaciones interesantes, incluida la interpolación de movimiento 3D y la generación de movimiento guiada por lenguaje. Nuestra página del proyecto está disponible en https://linzhanm.github.io/dimo.

English

We present DIMO, a generative approach capable of generating diverse 3D motions for arbitrary objects from a single image. The core idea of our work is to leverage the rich priors in well-trained video models to extract the common motion patterns and then embed them into a shared low-dimensional latent space. Specifically, we first generate multiple videos of the same object with diverse motions. We then embed each motion into a latent vector and train a shared motion decoder to learn the distribution of motions represented by a structured and compact motion representation, i.e., neural key point trajectories. The canonical 3D Gaussians are then driven by these key points and fused to model the geometry and appearance. During inference time with learned latent space, we can instantly sample diverse 3D motions in a single-forward pass and support several interesting applications including 3D motion interpolation and language-guided motion generation. Our project page is available at https://linzhanm.github.io/dimo.