PhysDreamer : Interaction Physique avec des Objets 3D via la Génération de Vidéos

PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

April 19, 2024

Auteurs: Tianyuan Zhang, Hong-Xing Yu, Rundi Wu, Brandon Y. Feng, Changxi Zheng, Noah Snavely, Jiajun Wu, William T. Freeman

cs.AI

Résumé

Les interactions réalistes avec les objets sont cruciales pour créer des expériences virtuelles immersives, mais la synthèse de dynamiques 3D réalistes en réponse à des interactions nouvelles reste un défi majeur. Contrairement à la génération de dynamiques inconditionnelles ou conditionnées par du texte, la génération de dynamiques conditionnées par des actions nécessite de percevoir les propriétés physiques des matériaux des objets et de fonder la prédiction du mouvement 3D sur ces propriétés, telles que la rigidité de l'objet. Cependant, l'estimation des propriétés physiques des matériaux est un problème ouvert en raison du manque de données de référence sur les matériaux, car mesurer ces propriétés pour des objets réels est extrêmement difficile. Nous présentons PhysDreamer, une approche basée sur la physique qui dote des objets 3D statiques de dynamiques interactives en exploitant les connaissances préalables sur les dynamiques d'objets apprises par des modèles de génération vidéo. En distillant ces connaissances, PhysDreamer permet la synthèse de réponses réalistes d'objets à des interactions nouvelles, telles que des forces externes ou des manipulations par un agent. Nous démontrons notre approche sur divers exemples d'objets élastiques et évaluons le réalisme des interactions synthétisées à travers une étude utilisateur. PhysDreamer fait un pas vers des expériences virtuelles plus engageantes et réalistes en permettant aux objets 3D statiques de répondre dynamiquement à des stimuli interactifs de manière physiquement plausible. Consultez notre page de projet à l'adresse https://physdreamer.github.io/.

English

Realistic object interactions are crucial for creating immersive virtual experiences, yet synthesizing realistic 3D object dynamics in response to novel interactions remains a significant challenge. Unlike unconditional or text-conditioned dynamics generation, action-conditioned dynamics requires perceiving the physical material properties of objects and grounding the 3D motion prediction on these properties, such as object stiffness. However, estimating physical material properties is an open problem due to the lack of material ground-truth data, as measuring these properties for real objects is highly difficult. We present PhysDreamer, a physics-based approach that endows static 3D objects with interactive dynamics by leveraging the object dynamics priors learned by video generation models. By distilling these priors, PhysDreamer enables the synthesis of realistic object responses to novel interactions, such as external forces or agent manipulations. We demonstrate our approach on diverse examples of elastic objects and evaluate the realism of the synthesized interactions through a user study. PhysDreamer takes a step towards more engaging and realistic virtual experiences by enabling static 3D objects to dynamically respond to interactive stimuli in a physically plausible manner. See our project page at https://physdreamer.github.io/.