PhysDreamer: Fysica-gebaseerde interactie met 3D-objecten via videogeneratie

PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

April 19, 2024

Auteurs: Tianyuan Zhang, Hong-Xing Yu, Rundi Wu, Brandon Y. Feng, Changxi Zheng, Noah Snavely, Jiajun Wu, William T. Freeman

cs.AI

Samenvatting

Realistische objectinteracties zijn cruciaal voor het creëren van meeslepende virtuele ervaringen, maar het synthetiseren van realistische 3D-objectdynamieken als reactie op nieuwe interacties blijft een grote uitdaging. In tegenstelling tot onvoorwaardelijke of tekst-geconditioneerde dynamiekgeneratie, vereist actie-geconditioneerde dynamiek het waarnemen van de fysieke materiaaleigenschappen van objecten en het baseren van de 3D-bewegingsvoorspelling op deze eigenschappen, zoals de stijfheid van een object. Het schatten van fysieke materiaaleigenschappen is echter een open probleem vanwege het ontbreken van grondwaardegegevens over materialen, aangezien het meten van deze eigenschappen voor echte objecten zeer moeilijk is. Wij presenteren PhysDreamer, een fysica-gebaseerde aanpak die statische 3D-objecten voorziet van interactieve dynamiek door gebruik te maken van de objectdynamiek-priors die zijn geleerd door videogeneratiemodellen. Door deze priors te destilleren, maakt PhysDreamer het mogelijk om realistische objectreacties te synthetiseren op nieuwe interacties, zoals externe krachten of manipulaties door agents. We demonstreren onze aanpak aan de hand van diverse voorbeelden van elastische objecten en evalueren de realiteit van de gesynthetiseerde interacties via een gebruikersstudie. PhysDreamer zet een stap in de richting van meer boeiende en realistische virtuele ervaringen door statische 3D-objecten in staat te stellen dynamisch te reageren op interactieve stimuli op een fysisch plausibele manier. Bezoek onze projectpagina op https://physdreamer.github.io/.

English

Realistic object interactions are crucial for creating immersive virtual experiences, yet synthesizing realistic 3D object dynamics in response to novel interactions remains a significant challenge. Unlike unconditional or text-conditioned dynamics generation, action-conditioned dynamics requires perceiving the physical material properties of objects and grounding the 3D motion prediction on these properties, such as object stiffness. However, estimating physical material properties is an open problem due to the lack of material ground-truth data, as measuring these properties for real objects is highly difficult. We present PhysDreamer, a physics-based approach that endows static 3D objects with interactive dynamics by leveraging the object dynamics priors learned by video generation models. By distilling these priors, PhysDreamer enables the synthesis of realistic object responses to novel interactions, such as external forces or agent manipulations. We demonstrate our approach on diverse examples of elastic objects and evaluate the realism of the synthesized interactions through a user study. PhysDreamer takes a step towards more engaging and realistic virtual experiences by enabling static 3D objects to dynamically respond to interactive stimuli in a physically plausible manner. See our project page at https://physdreamer.github.io/.