ダイナミックなオブジェクトが織りなす世界の振付

Choreographing a World of Dynamic Objects

January 7, 2026

著者: Yanzhe Lyu, Chen Geng, Karthik Dharmarajan, Yunzhi Zhang, Hadi Alzayer, Shangzhe Wu, Jiajun Wu

cs.AI

要旨

我々の物理的4D（3D＋時間）世界における動的オブジェクトは、絶えず進化し、変形し、他のオブジェクトと相互作用することで、多様な4Dシーンダイナミクスを生み出しています。本論文では、この種の現象を動的オブジェクトやシーンに「振付（コレオグラフ）」し合成するための普遍的生成パイプライン「CHORD」を提案します。従来のルールベースのグラフィックスパイプラインはカテゴリ固有のヒューリスティクスに基づいていますが、労力を要し拡張性に欠けます。近年の学習ベース手法は大規模データセットを必要とすることが一般的で、対象となる全オブジェクトカテゴリを網羅できない可能性があります。我々のアプローチでは、2D動画のオイラー表現に潜む豊富なラグランジュ運動情報を抽出する蒸留ベースのパイプラインを提案することで、動画生成モデルから普遍性を継承しています。本手法は普遍的で汎用的、かつカテゴリに依存しません。多様な多体4Dダイナミクスの生成実験を通じてその有効性を実証し、既存手法に対する優位性を示すとともに、ロボティクス操作ポリシー生成への応用可能性を提示します。プロジェクトページ: https://yanzhelyu.github.io/chord

English

Dynamic objects in our physical 4D (3D + time) world are constantly evolving, deforming, and interacting with other objects, leading to diverse 4D scene dynamics. In this paper, we present a universal generative pipeline, CHORD, for CHOReographing Dynamic objects and scenes and synthesizing this type of phenomena. Traditional rule-based graphics pipelines to create these dynamics are based on category-specific heuristics, yet are labor-intensive and not scalable. Recent learning-based methods typically demand large-scale datasets, which may not cover all object categories in interest. Our approach instead inherits the universality from the video generative models by proposing a distillation-based pipeline to extract the rich Lagrangian motion information hidden in the Eulerian representations of 2D videos. Our method is universal, versatile, and category-agnostic. We demonstrate its effectiveness by conducting experiments to generate a diverse range of multi-body 4D dynamics, show its advantage compared to existing methods, and demonstrate its applicability in generating robotics manipulation policies. Project page: https://yanzhelyu.github.io/chord