PhysDreamer: Interacción Basada en Física con Objetos 3D mediante Generación de Video

PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

April 19, 2024

Autores: Tianyuan Zhang, Hong-Xing Yu, Rundi Wu, Brandon Y. Feng, Changxi Zheng, Noah Snavely, Jiajun Wu, William T. Freeman

cs.AI

Resumen

Las interacciones realistas con objetos son cruciales para crear experiencias virtuales inmersivas, pero sintetizar dinámicas realistas de objetos 3D en respuesta a interacciones novedosas sigue siendo un desafío significativo. A diferencia de la generación de dinámicas incondicionales o condicionadas por texto, la generación de dinámicas condicionadas por acciones requiere percibir las propiedades físicas de los materiales de los objetos y fundamentar la predicción del movimiento 3D en estas propiedades, como la rigidez del objeto. Sin embargo, estimar las propiedades físicas de los materiales es un problema abierto debido a la falta de datos de referencia sobre materiales, ya que medir estas propiedades en objetos reales es extremadamente difícil. Presentamos PhysDreamer, un enfoque basado en física que dota a objetos 3D estáticos de dinámicas interactivas aprovechando los conocimientos previos sobre dinámicas de objetos aprendidos por modelos de generación de videos. Al destilar estos conocimientos previos, PhysDreamer permite sintetizar respuestas realistas de objetos a interacciones novedosas, como fuerzas externas o manipulaciones de agentes. Demostramos nuestro enfoque en diversos ejemplos de objetos elásticos y evaluamos el realismo de las interacciones sintetizadas mediante un estudio con usuarios. PhysDreamer da un paso hacia experiencias virtuales más atractivas y realistas al permitir que objetos 3D estáticos respondan dinámicamente a estímulos interactivos de manera físicamente plausible. Visite nuestra página del proyecto en https://physdreamer.github.io/.

English

Realistic object interactions are crucial for creating immersive virtual experiences, yet synthesizing realistic 3D object dynamics in response to novel interactions remains a significant challenge. Unlike unconditional or text-conditioned dynamics generation, action-conditioned dynamics requires perceiving the physical material properties of objects and grounding the 3D motion prediction on these properties, such as object stiffness. However, estimating physical material properties is an open problem due to the lack of material ground-truth data, as measuring these properties for real objects is highly difficult. We present PhysDreamer, a physics-based approach that endows static 3D objects with interactive dynamics by leveraging the object dynamics priors learned by video generation models. By distilling these priors, PhysDreamer enables the synthesis of realistic object responses to novel interactions, such as external forces or agent manipulations. We demonstrate our approach on diverse examples of elastic objects and evaluate the realism of the synthesized interactions through a user study. PhysDreamer takes a step towards more engaging and realistic virtual experiences by enabling static 3D objects to dynamically respond to interactive stimuli in a physically plausible manner. See our project page at https://physdreamer.github.io/.