DragAPart: Apprendimento di un Prior di Movimento a Livello di Parte per Oggetti Articolati

DragAPart: Learning a Part-Level Motion Prior for Articulated Objects

March 22, 2024

Autori: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

cs.AI

Abstract

Presentiamo DragAPart, un metodo che, data un'immagine e una serie di trascinamenti come input, è in grado di generare una nuova immagine dello stesso oggetto in un nuovo stato, compatibile con l'azione dei trascinamenti. A differenza dei lavori precedenti che si concentravano sul riposizionamento degli oggetti, DragAPart prevede interazioni a livello di parti, come aprire e chiudere un cassetto. Studiamo questo problema come un proxy per l'apprendimento di un modello di movimento generalista, non limitato a una specifica struttura cinematica o categoria di oggetti. A tal fine, partiamo da un generatore di immagini pre-addestrato e lo perfezioniamo su un nuovo dataset sintetico, Drag-a-Move, che introduciamo. Combinato con una nuova codifica per i trascinamenti e la randomizzazione del dataset, il nuovo modello generalizza bene a immagini reali e diverse categorie. Rispetto ai generatori controllati dal movimento precedenti, dimostriamo una comprensione molto migliore del movimento a livello di parti.

English

We introduce DragAPart, a method that, given an image and a set of drags as input, can generate a new image of the same object in a new state, compatible with the action of the drags. Differently from prior works that focused on repositioning objects, DragAPart predicts part-level interactions, such as opening and closing a drawer. We study this problem as a proxy for learning a generalist motion model, not restricted to a specific kinematic structure or object category. To this end, we start from a pre-trained image generator and fine-tune it on a new synthetic dataset, Drag-a-Move, which we introduce. Combined with a new encoding for the drags and dataset randomization, the new model generalizes well to real images and different categories. Compared to prior motion-controlled generators, we demonstrate much better part-level motion understanding.