PhysDreamer: Interazione Fisica con Oggetti 3D tramite Generazione di Video

PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

April 19, 2024

Autori: Tianyuan Zhang, Hong-Xing Yu, Rundi Wu, Brandon Y. Feng, Changxi Zheng, Noah Snavely, Jiajun Wu, William T. Freeman

cs.AI

Abstract

Le interazioni realistiche con gli oggetti sono cruciali per creare esperienze virtuali immersive, ma la sintesi di dinamiche 3D realistiche in risposta a nuove interazioni rimane una sfida significativa. A differenza della generazione di dinamiche incondizionate o condizionate da testo, la generazione di dinamiche condizionate da azioni richiede la percezione delle proprietà fisiche dei materiali degli oggetti e l'ancoraggio della previsione del movimento 3D a queste proprietà, come la rigidità dell'oggetto. Tuttavia, la stima delle proprietà fisiche dei materiali è un problema aperto a causa della mancanza di dati di verità sul materiale, poiché misurare queste proprietà per oggetti reali è estremamente difficile. Presentiamo PhysDreamer, un approccio basato sulla fisica che conferisce dinamiche interattive a oggetti 3D statici sfruttando le conoscenze pregresse sulle dinamiche degli oggetti apprese da modelli di generazione video. Distillando queste conoscenze pregresse, PhysDreamer consente la sintesi di risposte realistiche degli oggetti a nuove interazioni, come forze esterne o manipolazioni da parte di agenti. Dimostriamo il nostro approccio su diversi esempi di oggetti elastici e valutiamo il realismo delle interazioni sintetizzate attraverso uno studio con utenti. PhysDreamer compie un passo verso esperienze virtuali più coinvolgenti e realistiche, consentendo a oggetti 3D statici di rispondere dinamicamente a stimoli interattivi in modo fisicamente plausibile. Visita la nostra pagina del progetto all'indirizzo https://physdreamer.github.io/.

English

Realistic object interactions are crucial for creating immersive virtual experiences, yet synthesizing realistic 3D object dynamics in response to novel interactions remains a significant challenge. Unlike unconditional or text-conditioned dynamics generation, action-conditioned dynamics requires perceiving the physical material properties of objects and grounding the 3D motion prediction on these properties, such as object stiffness. However, estimating physical material properties is an open problem due to the lack of material ground-truth data, as measuring these properties for real objects is highly difficult. We present PhysDreamer, a physics-based approach that endows static 3D objects with interactive dynamics by leveraging the object dynamics priors learned by video generation models. By distilling these priors, PhysDreamer enables the synthesis of realistic object responses to novel interactions, such as external forces or agent manipulations. We demonstrate our approach on diverse examples of elastic objects and evaluate the realism of the synthesized interactions through a user study. PhysDreamer takes a step towards more engaging and realistic virtual experiences by enabling static 3D objects to dynamically respond to interactive stimuli in a physically plausible manner. See our project page at https://physdreamer.github.io/.