DragAPart: Обучение предварительного движения на уровне части для артикулированных объектов

DragAPart: Learning a Part-Level Motion Prior for Articulated Objects

March 22, 2024

Авторы: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

cs.AI

Аннотация

Мы представляем метод DragAPart, который, имея изображение и набор перетаскиваний в качестве входных данных, может создать новое изображение того же объекта в новом состоянии, совместимом с действием перетаскиваний. В отличие от предыдущих работ, сосредоточенных на перемещении объектов, DragAPart предсказывает взаимодействия на уровне частей, такие как открытие и закрытие ящика. Мы изучаем эту проблему как замену для обучения общего модели движения, не ограниченного конкретной кинематической структурой или категорией объектов. Для этого мы начинаем с предварительно обученного генератора изображений и донастраиваем его на новом синтетическом наборе данных, Drag-a-Move, который мы представляем. В сочетании с новым кодированием для перетаскиваний и рандомизацией набора данных, новая модель хорошо обобщается на реальные изображения и различные категории. По сравнению с предыдущими генераторами, управляемыми движением, мы демонстрируем гораздо лучшее понимание движения на уровне частей.

English

We introduce DragAPart, a method that, given an image and a set of drags as input, can generate a new image of the same object in a new state, compatible with the action of the drags. Differently from prior works that focused on repositioning objects, DragAPart predicts part-level interactions, such as opening and closing a drawer. We study this problem as a proxy for learning a generalist motion model, not restricted to a specific kinematic structure or object category. To this end, we start from a pre-trained image generator and fine-tune it on a new synthetic dataset, Drag-a-Move, which we introduce. Combined with a new encoding for the drags and dataset randomization, the new model generalizes well to real images and different categories. Compared to prior motion-controlled generators, we demonstrate much better part-level motion understanding.