DragAPart: 관절형 물체를 위한 부위 수준 동작 사전 학습

DragAPart: Learning a Part-Level Motion Prior for Articulated Objects

March 22, 2024

저자: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

cs.AI

초록

우리는 DragAPart라는 방법을 소개합니다. 이 방법은 이미지와 일련의 드래그 입력을 받아, 드래그 동작과 호환되는 새로운 상태의 동일한 객체 이미지를 생성할 수 있습니다. 기존의 객체 재배치에 초점을 맞춘 연구와 달리, DragAPart는 서랍 열기 및 닫기와 같은 부위 수준의 상호작용을 예측합니다. 우리는 이 문제를 특정 운동학적 구조나 객체 카테고리에 제한되지 않는 일반적인 모션 모델을 학습하기 위한 대리 문제로 연구합니다. 이를 위해, 우리는 사전 훈련된 이미지 생성기로 시작하여 새로운 합성 데이터셋인 Drag-a-Move에서 미세 조정을 수행합니다. 새로운 드래그 인코딩과 데이터셋 무작위화를 결합함으로써, 이 새로운 모델은 실제 이미지와 다양한 카테고리에 대해 잘 일반화됩니다. 기존의 모션 제어 생성기와 비교하여, 우리는 훨씬 더 우수한 부위 수준의 모션 이해를 입증합니다.

English

We introduce DragAPart, a method that, given an image and a set of drags as input, can generate a new image of the same object in a new state, compatible with the action of the drags. Differently from prior works that focused on repositioning objects, DragAPart predicts part-level interactions, such as opening and closing a drawer. We study this problem as a proxy for learning a generalist motion model, not restricted to a specific kinematic structure or object category. To this end, we start from a pre-trained image generator and fine-tune it on a new synthetic dataset, Drag-a-Move, which we introduce. Combined with a new encoding for the drags and dataset randomization, the new model generalizes well to real images and different categories. Compared to prior motion-controlled generators, we demonstrate much better part-level motion understanding.