MACS: Sintesi del Movimento 3D di Mani e Oggetti Condizionata dalla Massa

MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

December 22, 2023

Autori: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, Thabo Beeler

cs.AI

Abstract

Le proprietà fisiche di un oggetto, come la massa, influenzano significativamente il modo in cui lo manipoliamo con le mani. Sorprendentemente, questo aspetto è stato finora trascurato nei lavori precedenti sulla sintesi del movimento 3D. Per migliorare il realismo dei movimenti sintetizzati di mani e oggetti in 3D, questo lavoro propone MACS, il primo approccio di sintesi del movimento 3D di mani e oggetti condizionato alla Massa (MAss Conditioned Synthesis). Il nostro approccio si basa su modelli di diffusione a cascata e genera interazioni che si adattano plausibilmente in base alla massa dell'oggetto e al tipo di interazione. MACS accetta anche una traiettoria 3D disegnata manualmente come input e sintetizza i movimenti naturali della mano in 3D condizionati dalla massa dell'oggetto. Questa flessibilità consente a MACS di essere utilizzato per varie applicazioni a valle, come la generazione di dati sintetici per il training di modelli di machine learning, l'animazione rapida delle mani nei flussi di lavoro grafici e la generazione di interazioni di personaggi per i videogiochi. Sperimentalmente, dimostriamo che un dataset di piccole dimensioni è sufficiente affinché MACS generalizzi ragionevolmente su masse di oggetti interpolate ed estrapolate non viste durante l'addestramento. Inoltre, MACS mostra una moderata generalizzazione a oggetti non visti, grazie alle etichette di contatto condizionate alla massa generate dal nostro modello di sintesi del contatto superficiale ConNet. Il nostro studio utente completo conferma che le interazioni sintetizzate mano-oggetto in 3D sono altamente plausibili e realistiche.

English

The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.