움직이는 사물의 세계를 무대 위에 올리다

Choreographing a World of Dynamic Objects

January 7, 2026

저자: Yanzhe Lyu, Chen Geng, Karthik Dharmarajan, Yunzhi Zhang, Hadi Alzayer, Shangzhe Wu, Jiajun Wu

cs.AI

초록

우리 물리적 4차원(3차원 + 시간) 세계의 동적 객체는 지속적으로 진화하고, 변형되며, 다른 객체와 상호작용함으로써 다양한 4차원 장면 역학을 만들어냅니다. 본 논문에서는 이러한 현상을 종합하기 위해 동적 객체와 장면의 운동을 구성(CHOREographing)하는 범용 생성 파이프라인인 CHORD를 제안합니다. 이러한 역학을 생성하는 기존 규칙 기반 그래픽스 파이프라인은 범주별 경험적 방법에 기반하지만, 노동 집약적이고 확장성이 떨어집니다. 최근의 학습 기반 방법은 일반적으로 대규모 데이터셋을 요구하는데, 이는 관심 있는 모든 객체 범주를 포함하지 않을 수 있습니다. 우리의 접근법은 오일러 표현 방식의 2D 비디오에 내재된 풍부한 라그랑주 운동 정보를 추출하기 위한 증류 기반 파이프라인을 제안함으로써 비디오 생성 모델의 보편성을 계승합니다. 우리의 방법은 보편적이고 다용도이며 범주에 구애받지 않습니다. 우리는 다양한 다중체 4차원 역학 생성을 위한 실험을 수행하여 방법의 효과를 입증하고, 기존 방법 대비 장점을 보여주며, 로봇틱스 조작 정책 생성에의 적용 가능성을 입증합니다. 프로젝트 페이지: https://yanzhelyu.github.io/chord

English

Dynamic objects in our physical 4D (3D + time) world are constantly evolving, deforming, and interacting with other objects, leading to diverse 4D scene dynamics. In this paper, we present a universal generative pipeline, CHORD, for CHOReographing Dynamic objects and scenes and synthesizing this type of phenomena. Traditional rule-based graphics pipelines to create these dynamics are based on category-specific heuristics, yet are labor-intensive and not scalable. Recent learning-based methods typically demand large-scale datasets, which may not cover all object categories in interest. Our approach instead inherits the universality from the video generative models by proposing a distillation-based pipeline to extract the rich Lagrangian motion information hidden in the Eulerian representations of 2D videos. Our method is universal, versatile, and category-agnostic. We demonstrate its effectiveness by conducting experiments to generate a diverse range of multi-body 4D dynamics, show its advantage compared to existing methods, and demonstrate its applicability in generating robotics manipulation policies. Project page: https://yanzhelyu.github.io/chord