MACS: 質量条件付き3D手と物体のモーション合成

MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

December 22, 2023

著者: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, Thabo Beeler

cs.AI

要旨

物体の物理的特性、特に質量は、私たちが手でそれを操作する方法に大きく影響します。驚くべきことに、これまでの3Dモーション合成に関する研究では、この側面が見過ごされてきました。本論文では、合成された3D手と物体のモーションの自然さを向上させるため、初の質量条件付き3D手と物体モーション合成手法であるMACSを提案します。私たちのアプローチはカスケード型拡散モデルに基づいており、物体の質量と相互作用のタイプに応じて適切に調整される相互作用を生成します。MACSはまた、手動で描かれた3D物体軌道を入力として受け取り、物体の質量に基づいて自然な3D手のモーションを合成します。この柔軟性により、MACSはMLタスクのための合成トレーニングデータの生成、グラフィックスワークフローのための手の高速アニメーション、コンピュータゲームのためのキャラクター相互作用の生成など、さまざまな下流アプリケーションに使用することができます。実験的に、小規模なデータセットでもMACSがトレーニング中に見られなかった補間および外挿された物体質量に対して合理的に一般化できることを示します。さらに、MACSは、表面接触合成モデルConNetによって生成された質量条件付き接触ラベルのおかげで、未見の物体に対して中程度の一般化を示します。私たちの包括的なユーザー調査は、合成された3D手と物体の相互作用が非常に説得力があり現実的であることを確認しています。

English

The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.