MACS : Synthèse de mouvements 3D de la main et d'objets conditionnée par la masse

MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

December 22, 2023

Auteurs: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, Thabo Beeler

cs.AI

Résumé

Les propriétés physiques d'un objet, telles que la masse, influencent de manière significative la façon dont nous le manipulons avec nos mains. Étonnamment, cet aspect a jusqu'à présent été négligé dans les travaux antérieurs sur la synthèse de mouvements 3D. Pour améliorer le réalisme des mouvements synthétisés de la main et de l'objet en 3D, ce travail propose MACS, la première approche de Synthèse de Mouvements 3D de la Main et de l'Objet Conditionnée par la Masse (MAss Conditioned 3D hand and object motion Synthesis). Notre approche repose sur des modèles de diffusion en cascade et génère des interactions qui s'ajustent de manière plausible en fonction de la masse de l'objet et du type d'interaction. MACS accepte également une trajectoire 3D d'objet dessinée manuellement en entrée et synthétise les mouvements naturels de la main en 3D conditionnés par la masse de l'objet. Cette flexibilité permet à MACS d'être utilisé pour diverses applications en aval, telles que la génération de données d'entraînement synthétiques pour des tâches d'apprentissage automatique, l'animation rapide de mains pour les workflows graphiques, et la génération d'interactions de personnages pour les jeux vidéo. Nous montrons expérimentalement qu'un jeu de données de petite taille suffit à MACS pour généraliser de manière raisonnable à des masses d'objets interpolées et extrapolées non vues pendant l'entraînement. De plus, MACS montre une généralisation modérée à des objets non vus, grâce aux étiquettes de contact conditionnées par la masse générées par notre modèle de synthèse de contact de surface ConNet. Notre étude utilisateur approfondie confirme que les interactions synthétisées entre la main et l'objet en 3D sont très plausibles et réalistes.

English

The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.