Chorégraphier un monde d'objets dynamiques
Choreographing a World of Dynamic Objects
January 7, 2026
papers.authors: Yanzhe Lyu, Chen Geng, Karthik Dharmarajan, Yunzhi Zhang, Hadi Alzayer, Shangzhe Wu, Jiajun Wu
cs.AI
papers.abstract
Les objets dynamiques dans notre monde physique 4D (3D + temps) évoluent, se déforment et interagissent constamment avec d'autres objets, engendrant des dynamiques scéniques 4D variées. Dans cet article, nous présentons CHORD, un pipeline génératif universel pour chorégraphier des objets et scènes dynamiques et synthétiser ce type de phénomènes. Les pipelines graphiques traditionnels basés sur des règles pour créer ces dynamiques reposent sur des heuristiques spécifiques à des catégories, mais sont laborieux et peu évolutifs. Les méthodes récentes fondées sur l'apprentissage nécessitent généralement des jeux de données à grande échelle, qui peuvent ne pas couvrir toutes les catégories d'objets d'intérêt. Notre approche hérite plutôt de l'universalité des modèles génératifs vidéo en proposant un pipeline basé sur la distillation pour extraire les riches informations motionnelles lagrangiennes cachées dans les représentations eulériennes des vidéos 2D. Notre méthode est universelle, polyvalente et agnostique aux catégories. Nous démontrons son efficacité en menant des expériences pour générer une diversité de dynamiques 4D multi-corps, montrons son avantage par rapport aux méthodes existantes et illustrons son applicabilité dans la génération de politiques de manipulation robotique. Page du projet : https://yanzhelyu.github.io/chord
English
Dynamic objects in our physical 4D (3D + time) world are constantly evolving, deforming, and interacting with other objects, leading to diverse 4D scene dynamics. In this paper, we present a universal generative pipeline, CHORD, for CHOReographing Dynamic objects and scenes and synthesizing this type of phenomena. Traditional rule-based graphics pipelines to create these dynamics are based on category-specific heuristics, yet are labor-intensive and not scalable. Recent learning-based methods typically demand large-scale datasets, which may not cover all object categories in interest. Our approach instead inherits the universality from the video generative models by proposing a distillation-based pipeline to extract the rich Lagrangian motion information hidden in the Eulerian representations of 2D videos. Our method is universal, versatile, and category-agnostic. We demonstrate its effectiveness by conducting experiments to generate a diverse range of multi-body 4D dynamics, show its advantage compared to existing methods, and demonstrate its applicability in generating robotics manipulation policies. Project page: https://yanzhelyu.github.io/chord