MACS: Síntesis de Movimiento 3D de Manos y Objetos Condicionada por Masa

MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

December 22, 2023

Autores: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, Thabo Beeler

cs.AI

Resumen

Las propiedades físicas de un objeto, como la masa, afectan significativamente cómo lo manipulamos con nuestras manos. Sorprendentemente, este aspecto ha sido descuidado hasta ahora en trabajos previos sobre síntesis de movimiento 3D. Para mejorar la naturalidad de los movimientos sintetizados de manos y objetos en 3D, este trabajo propone MACS, el primer enfoque de Síntesis de Movimiento 3D de Manos y Objetos Condicionado por Masa (MAss Conditioned 3D hand and object motion Synthesis). Nuestro enfoque se basa en modelos de difusión en cascada y genera interacciones que se ajustan de manera plausible según la masa del objeto y el tipo de interacción. MACS también acepta como entrada una trayectoria de objeto en 3D dibujada manualmente y sintetiza los movimientos naturales de la mano en 3D condicionados por la masa del objeto. Esta flexibilidad permite que MACS se utilice en diversas aplicaciones posteriores, como la generación de datos sintéticos de entrenamiento para tareas de aprendizaje automático, la animación rápida de manos en flujos de trabajo gráficos y la generación de interacciones de personajes para videojuegos. Demostramos experimentalmente que un conjunto de datos a pequeña escala es suficiente para que MACS generalice razonablemente en masas de objetos interpoladas y extrapoladas no vistas durante el entrenamiento. Además, MACS muestra una generalización moderada a objetos no vistos, gracias a las etiquetas de contacto condicionadas por masa generadas por nuestro modelo de síntesis de contacto superficial ConNet. Nuestro estudio de usuario exhaustivo confirma que las interacciones sintetizadas entre manos y objetos en 3D son altamente plausibles y realistas.

English

The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.