DragAPart: 関節を持つ物体のためのパーツレベル運動事前学習

DragAPart: Learning a Part-Level Motion Prior for Articulated Objects

March 22, 2024

著者: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

cs.AI

要旨

本論文では、DragAPartという手法を提案する。この手法は、画像と一連のドラッグ操作を入力として受け取り、そのドラッグ操作の作用と整合する新しい状態の物体画像を生成することができる。従来の物体の位置変更に焦点を当てた研究とは異なり、DragAPartは引き出しの開閉といった部品レベルの相互作用を予測する。我々はこの問題を、特定の運動構造や物体カテゴリーに限定されない汎用的な運動モデルの学習の代理課題として研究する。この目的のために、事前学習済みの画像生成器を出発点とし、新たに導入する合成データセットDrag-a-Moveでファインチューニングを行う。新しいドラッグ操作のエンコーディングとデータセットのランダム化を組み合わせることで、この新しいモデルは実画像や異なるカテゴリーに対して良好な汎化性能を示す。従来の運動制御型生成器と比較して、我々の手法は部品レベルの運動理解において大幅に優れた性能を実証する。

English

We introduce DragAPart, a method that, given an image and a set of drags as input, can generate a new image of the same object in a new state, compatible with the action of the drags. Differently from prior works that focused on repositioning objects, DragAPart predicts part-level interactions, such as opening and closing a drawer. We study this problem as a proxy for learning a generalist motion model, not restricted to a specific kinematic structure or object category. To this end, we start from a pre-trained image generator and fine-tune it on a new synthetic dataset, Drag-a-Move, which we introduce. Combined with a new encoding for the drags and dataset randomization, the new model generalizes well to real images and different categories. Compared to prior motion-controlled generators, we demonstrate much better part-level motion understanding.