DIMO: Генерация разнообразных 3D-движений для произвольных объектов

DIMO: Diverse 3D Motion Generation for Arbitrary Objects

November 10, 2025

Авторы: Linzhan Mou, Jiahui Lei, Chen Wang, Lingjie Liu, Kostas Daniilidis

cs.AI

Аннотация

Мы представляем DIMO — генеративный подход, способный создавать разнообразные 3D-движения для произвольных объектов по одному изображению. Основная идея нашей работы заключается в использовании богатых априорных знаний хорошо обученных видео-моделей для извлечения общих паттернов движения и последующего внедрения их в общее низкоразмерное латентное пространство. Конкретно, мы сначала генерируем несколько видео одного и того же объекта с разнообразными движениями. Затем мы внедряем каждое движение в латентный вектор и обучаем общий декодер движений для изучения распределения движений, представленного структурированным и компактным представлением движения — траекториями нейронных ключевых точек. Канонические 3D-гаусссианы затем приводятся в движение этими ключевыми точками и объединяются для моделирования геометрии и внешнего вида. Во время вывода с обученным латентным пространством мы можем мгновенно сэмплировать разнообразные 3D-движения за один прямой проход, а также поддерживать несколько интересных приложений, включая интерполяцию 3D-движений и генерацию движений на основе языка. Страница проекта доступна по адресу https://linzhanm.github.io/dimo.

English

We present DIMO, a generative approach capable of generating diverse 3D motions for arbitrary objects from a single image. The core idea of our work is to leverage the rich priors in well-trained video models to extract the common motion patterns and then embed them into a shared low-dimensional latent space. Specifically, we first generate multiple videos of the same object with diverse motions. We then embed each motion into a latent vector and train a shared motion decoder to learn the distribution of motions represented by a structured and compact motion representation, i.e., neural key point trajectories. The canonical 3D Gaussians are then driven by these key points and fused to model the geometry and appearance. During inference time with learned latent space, we can instantly sample diverse 3D motions in a single-forward pass and support several interesting applications including 3D motion interpolation and language-guided motion generation. Our project page is available at https://linzhanm.github.io/dimo.