Het Choreograferen van een Wereld van Dynamische Objecten

Choreographing a World of Dynamic Objects

January 7, 2026

Auteurs: Yanzhe Lyu, Chen Geng, Karthik Dharmarajan, Yunzhi Zhang, Hadi Alzayer, Shangzhe Wu, Jiajun Wu

cs.AI

Samenvatting

Dynamische objecten in onze fysieke 4D (3D + tijd) wereld ondergaan voortdurend evolutie, vervorming en interactie met andere objecten, wat leidt tot diverse 4D-scènedynamiek. In dit artikel presenteren we CHORD, een universele generatieve pijplijn voor het choreograferen van dynamische objecten en scènes en het synthetiseren van dit type fenomenen. Traditionele, op regels gebaseerde graphics-pijplijnen voor het creëren van deze dynamiek zijn gebaseerd op categoriespecifieke heuristieken, maar zijn arbeidsintensief en niet schaalbaar. Recente, op leren gebaseerde methoden vereisen doorgaans grootschalige datasets, die mogelijk niet alle gewenste objectcategorieën omvatten. Onze benadering erft daarentegen de universaliteit van videogeneratieve modellen door een op distillatie gebaseerde pijplijn voor te stellen om de rijke Lagrangiaanse bewegingsinformatie te extraheren die verborgen ligt in de Euleriaanse representaties van 2D-video's. Onze methode is universeel, veelzijdig en categorie-agnostisch. We demonstreren de effectiviteit ervan door experimenten uit te voeren om een diverse reeks multi-body 4D-dynamica te genereren, tonen het voordeel ten opzichte van bestaande methoden en laten de toepasbaarheid ervan zien bij het genereren van robotmanipulatiebeleid. Projectpagina: https://yanzhelyu.github.io/chord

English

Dynamic objects in our physical 4D (3D + time) world are constantly evolving, deforming, and interacting with other objects, leading to diverse 4D scene dynamics. In this paper, we present a universal generative pipeline, CHORD, for CHOReographing Dynamic objects and scenes and synthesizing this type of phenomena. Traditional rule-based graphics pipelines to create these dynamics are based on category-specific heuristics, yet are labor-intensive and not scalable. Recent learning-based methods typically demand large-scale datasets, which may not cover all object categories in interest. Our approach instead inherits the universality from the video generative models by proposing a distillation-based pipeline to extract the rich Lagrangian motion information hidden in the Eulerian representations of 2D videos. Our method is universal, versatile, and category-agnostic. We demonstrate its effectiveness by conducting experiments to generate a diverse range of multi-body 4D dynamics, show its advantage compared to existing methods, and demonstrate its applicability in generating robotics manipulation policies. Project page: https://yanzhelyu.github.io/chord