MACS: Síntese de Movimento 3D de Mãos e Objetos Condicionada por Massa

MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

December 22, 2023

Autores: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, Thabo Beeler

cs.AI

Resumo

As propriedades físicas de um objeto, como a massa, influenciam significativamente a forma como o manipulamos com as mãos. Surpreendentemente, esse aspecto tem sido negligenciado em trabalhos anteriores sobre síntese de movimento 3D. Para melhorar a naturalidade dos movimentos sintetizados de mãos e objetos em 3D, este trabalho propõe o MACS, a primeira abordagem de Síntese de Movimento de Mãos e Objetos em 3D Condicionada à Massa (MAss Conditioned 3D hand and object motion Synthesis). Nossa abordagem é baseada em modelos de difusão em cascata e gera interações que se ajustam de maneira plausível com base na massa do objeto e no tipo de interação. O MACS também aceita uma trajetória de objeto 3D desenhada manualmente como entrada e sintetiza os movimentos naturais da mão em 3D condicionados pela massa do objeto. Essa flexibilidade permite que o MACS seja usado em diversas aplicações subsequentes, como a geração de dados sintéticos de treinamento para tarefas de aprendizado de máquina, animação rápida de mãos para fluxos de trabalho gráficos e geração de interações de personagens para jogos de computador. Mostramos experimentalmente que um conjunto de dados em pequena escala é suficiente para que o MACS generalize razoavelmente em massas de objetos interpoladas e extrapoladas não vistas durante o treinamento. Além disso, o MACS demonstra uma generalização moderada para objetos não vistos, graças aos rótulos de contato condicionados à massa gerados pelo nosso modelo de síntese de contato superficial ConNet. Nosso estudo abrangente com usuários confirma que as interações sintetizadas entre mãos e objetos em 3D são altamente plausíveis e realistas.

English

The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.