MACS: 질량 조건 기반 3D 손 및 물체 운동 합성

MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

December 22, 2023

저자: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, Thabo Beeler

cs.AI

초록

물체의 질량과 같은 물리적 특성은 우리가 손으로 물체를 조작하는 방식에 상당한 영향을 미칩니다. 놀랍게도, 이러한 측면은 지금까지 3D 모션 합성에 관한 기존 연구에서 간과되어 왔습니다. 본 연구는 합성된 3D 손과 물체의 모션의 자연스러움을 개선하기 위해, 질량 조건화 3D 손 및 물체 모션 합성 접근법인 MACS를 최초로 제안합니다. 우리의 접근법은 캐스케이드 확산 모델을 기반으로 하며, 물체의 질량과 상호작용 유형에 따라 그럴듯하게 조정되는 상호작용을 생성합니다. MACS는 또한 수동으로 그린 3D 물체 궤적을 입력으로 받아 물체의 질량에 조건화된 자연스러운 3D 손 모션을 합성합니다. 이러한 유연성 덕분에 MACS는 ML 작업을 위한 합성 훈련 데이터 생성, 그래픽 워크플로우를 위한 빠른 손 애니메이션, 컴퓨터 게임을 위한 캐릭터 상호작용 생성 등 다양한 다운스트림 애플리케이션에 사용될 수 있습니다. 실험을 통해 우리는 소규모 데이터셋만으로도 MACS가 훈련 중에 보지 못한 보간 및 외삽된 물체 질량에 대해 합리적으로 일반화할 수 있음을 보여줍니다. 또한, MACS는 우리의 표면 접촉 합성 모델 ConNet이 생성한 질량 조건화 접촉 레이블 덕분에 보지 못한 물체에 대해 중간 정도의 일반화 능력을 보입니다. 우리의 포괄적인 사용자 연구는 합성된 3D 손-물체 상호작용이 매우 그럴듯하고 현실적임을 확인시켜 줍니다.

English

The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.