DreamTraj: 렌더링되지 않은 비디오 확산 잠재 표현 판독을 통한 6자유도 객체 궤적 생성

초록

조작 중 객체 궤적의 정확한 예측은 지각-행동 루프를 완성하는 데 필수적이다. 그러나 두 가지 측면에서 진전이 제한되어 왔다: 기존 데이터셋은 세분화된 언어-동작 주석이 부족하고, 기존 예측기는 비디오, 깊이, CAD 모델과 같은 특권 입력(privileged input)에 의존하거나, 완전히 생성된 비디오에서 값비싸고 오류가 잦은 지각 파이프라인을 통해 동작을 복원한다. 우리는 MOVE 데이터셋으로 이러한 지도 학습 격차를 해소한다. MOVE는 5,038개의 객체 중심 자아 시점 궤적(egocentric trajectory)으로 구성되며, 각 궤적은 대략적인 동사-명사 라벨이 아닌 세분화된 자연어 지시문과 짝을 이룬다. 또한 우리는 단일 RGB 이미지와 작업 지시문만으로 6자유도(6-DoF) 객체 궤적을 예측하는 DreamTraj를 제안한다. DreamTraj는 추론 시 비디오, 깊이, CAD 모델을 필요로 하지 않으며, 비디오를 생성하는 대신 초기 잡음 제거 단계에서 동결된 이미지-투-비디오 확산 모델의 내부 표현으로부터 동작을 읽어낸다. 경량 플로우 매칭 리더(Reader)는 쿼리-키 어텐션 트랙과 풀링된 은닉 상태를 상대적 6자유도 자세로 디코딩한다. 우리가 아는 한, 이는 생성된 픽셀이 아닌 중간 비디오 확산 표현에서 객체 6자유도 궤적을 직접 디코딩하는 최초의 접근 방식이다. DreamTraj는 다중 프레임 또는 특권 입력을 사용하는 예측기들을 대상으로 병진(translation)과 회전(rotation) 모두에서 새로운 최첨단 성능을 달성하며, 생성-후-추출(generate-then-extract) 파이프라인보다 4.6배 빠르게 동작한다.

English

Accurate prediction of object trajectories during manipulation is essential for closing the perception-action loop. Progress is limited on two fronts: available datasets lack fine-grained language-to-motion annotations, and existing predictors either rely on privileged inputs such as video, depth, or CAD models, or recover motion from fully generated videos through costly, error-prone perception pipelines. We close the supervision gap with the MOVE dataset, 5,038 object-centric egocentric trajectories, each paired with a fine-grained natural-language instruction rather than a coarse verb-noun label. We further propose DreamTraj, which predicts a 6-DoF object trajectory from a single RGB image and a task instruction, requiring no video, depth, or CAD model at inference: rather than generating a video, it reads motion from the internal representations of a frozen image-to-video diffusion model at an early denoising step. A lightweight flow-matching Reader decodes query-key attention tracks and pooled hidden states into relative 6-DoF poses. To our knowledge, this is the first approach to directly decode object 6-DoF trajectories from intermediate video diffusion representations rather than generated pixels. DreamTraj sets a new state of the art on both translation and rotation against forecasters that consume multi-frame or privileged inputs, and runs 4.6x faster than generate-then-extract pipelines.