MACS: Massenbedingte 3D-Hand- und Objektbewegungssynthese

MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

December 22, 2023

Autoren: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, Thabo Beeler

cs.AI

Zusammenfassung

Die physikalischen Eigenschaften eines Objekts, wie beispielsweise die Masse, beeinflussen maßgeblich, wie wir es mit unseren Händen manipulieren. Überraschenderweise wurde dieser Aspekt in bisherigen Arbeiten zur 3D-Bewegungssynthese vernachlässigt. Um die Natürlichkeit der synthetisierten 3D-Hand-Objekt-Bewegungen zu verbessern, schlägt diese Arbeit MACS vor, den ersten MAss-Conditioned 3D-Hand- und Objekt-Bewegungssynthese-Ansatz. Unser Ansatz basiert auf kaskadierten Diffusionsmodellen und erzeugt Interaktionen, die plausibel an die Objektmasse und den Interaktionstyp angepasst sind. MACS akzeptiert auch eine manuell gezeichnete 3D-Objekt-Trajektorie als Eingabe und synthetisiert die natürlichen 3D-Handbewegungen, die durch die Objektmasse bedingt sind. Diese Flexibilität ermöglicht es MACS, für verschiedene nachgelagerte Anwendungen eingesetzt zu werden, wie z.B. die Erzeugung synthetischer Trainingsdaten für ML-Aufgaben, die schnelle Animation von Händen für Grafik-Workflows und die Erzeugung von Charakterinteraktionen für Computerspiele. Wir zeigen experimentell, dass ein kleines Datenset ausreicht, damit MACS vernünftig über interpolierte und extrapolierte Objektmassen, die während des Trainings nicht gesehen wurden, generalisieren kann. Darüber hinaus zeigt MACS eine moderate Generalisierung auf unbekannte Objekte, dank der massenbedingten Kontaktlabels, die von unserem Oberflächenkontaktsynthese-Modell ConNet erzeugt werden. Unsere umfassende Benutzerstudie bestätigt, dass die synthetisierten 3D-Hand-Objekt-Interaktionen sehr plausibel und realistisch sind.

English

The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.