MACS: Mass-geconditioneerde 3D-hand- en objectbewegingssynthese

MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

December 22, 2023

Auteurs: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, Thabo Beeler

cs.AI

Samenvatting

De fysieke eigenschappen van een object, zoals massa, hebben een aanzienlijke invloed op hoe we het met onze handen manipuleren. Verrassend genoeg is dit aspect tot nu toe verwaarloosd in eerder onderzoek naar 3D-bewegingssynthese. Om de natuurlijkheid van de gesynthetiseerde 3D hand-objectbewegingen te verbeteren, stelt dit werk MACS voor, de eerste MAss Conditioned 3D hand- en objectbewegingssynthesebenadering. Onze aanpak is gebaseerd op gecascadeerde diffusiemodellen en genereert interacties die plausibel aanpassen op basis van de objectmassa en het interactietype. MACS accepteert ook een handmatig getekende 3D-objecttrajectorie als invoer en synthetiseert de natuurlijke 3D-handbewegingen die worden bepaald door de objectmassa. Deze flexibiliteit maakt het mogelijk om MACS te gebruiken voor verschillende downstream-toepassingen, zoals het genereren van synthetische trainingsdata voor ML-taken, snelle animatie van handen voor grafische workflows en het genereren van karakterinteracties voor computerspellen. We tonen experimenteel aan dat een kleinschalige dataset voldoende is voor MACS om redelijk te generaliseren over geïnterpoleerde en geëxtrapoleerde objectmassa's die niet tijdens de training zijn gezien. Bovendien toont MACS een matige generalisatie naar onbekende objecten, dankzij de massa-geconditioneerde contactlabels die worden gegenereerd door ons oppervlaktecontact-synthesemodel ConNet. Onze uitgebreide gebruikersstudie bevestigt dat de gesynthetiseerde 3D hand-objectinteracties zeer plausibel en realistisch zijn.

English

The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.