MACS: Синтез 3D-движений руки и объекта с учетом масс

MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

December 22, 2023

Авторы: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, Thabo Beeler

cs.AI

Аннотация

Физические свойства объекта, такие как масса, существенно влияют на то, как мы манипулируем им руками. Удивительно, но этот аспект до сих пор оставался без внимания в предыдущих работах по синтезу 3D-движений. Чтобы повысить естественность синтезированных 3D-движений рук и объектов, в данной работе предлагается MACS — первый подход к синтезу 3D-движений рук и объектов, учитывающий массу (MAss Conditioned 3D hand and object motion Synthesis). Наш подход основан на каскадных диффузионных моделях и генерирует взаимодействия, которые правдоподобно адаптируются в зависимости от массы объекта и типа взаимодействия. MACS также принимает в качестве входных данных вручную нарисованную 3D-траекторию объекта и синтезирует естественные 3D-движения рук, обусловленные массой объекта. Эта гибкость позволяет использовать MACS для различных прикладных задач, таких как генерация синтетических данных для обучения машинного обучения, быстрая анимация рук в графических процессах и создание взаимодействий персонажей в компьютерных играх. Экспериментально мы показываем, что небольшого набора данных достаточно для того, чтобы MACS мог разумно обобщать интерполированные и экстраполированные массы объектов, не встречавшиеся во время обучения. Кроме того, MACS демонстрирует умеренную обобщаемость к новым объектам благодаря меткам контактов, обусловленным массой, которые генерируются нашей моделью синтеза контактов на поверхности ConNet. Наше всестороннее пользовательское исследование подтверждает, что синтезированные 3D-взаимодействия рук и объектов выглядят высоко правдоподобно и реалистично.

English

The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.