PhysDreamer: Interação Baseada em Física com Objetos 3D por meio de Geração de Vídeo

PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

April 19, 2024

Autores: Tianyuan Zhang, Hong-Xing Yu, Rundi Wu, Brandon Y. Feng, Changxi Zheng, Noah Snavely, Jiajun Wu, William T. Freeman

cs.AI

Resumo

Interações realistas com objetos são cruciais para criar experiências virtuais imersivas, mas a síntese de dinâmicas 3D realistas em resposta a interações novas continua sendo um desafio significativo. Diferente da geração de dinâmicas incondicionais ou condicionadas por texto, a geração de dinâmicas condicionadas por ação requer a percepção das propriedades físicas dos materiais dos objetos e a fundamentação da previsão de movimento 3D nessas propriedades, como a rigidez do objeto. No entanto, estimar as propriedades físicas dos materiais é um problema em aberto devido à falta de dados de verdade terrestre sobre materiais, já que medir essas propriedades para objetos reais é altamente difícil. Apresentamos o PhysDreamer, uma abordagem baseada em física que confere dinâmicas interativas a objetos 3D estáticos, aproveitando os conhecimentos prévios sobre dinâmicas de objetos aprendidos por modelos de geração de vídeo. Ao destilar esses conhecimentos prévios, o PhysDreamer permite a síntese de respostas realistas de objetos a interações novas, como forças externas ou manipulações por agentes. Demonstramos nossa abordagem em diversos exemplos de objetos elásticos e avaliamos o realismo das interações sintetizadas por meio de um estudo com usuários. O PhysDreamer dá um passo em direção a experiências virtuais mais envolventes e realistas, permitindo que objetos 3D estáticos respondam dinamicamente a estímulos interativos de maneira fisicamente plausível. Veja nossa página do projeto em https://physdreamer.github.io/.

English

Realistic object interactions are crucial for creating immersive virtual experiences, yet synthesizing realistic 3D object dynamics in response to novel interactions remains a significant challenge. Unlike unconditional or text-conditioned dynamics generation, action-conditioned dynamics requires perceiving the physical material properties of objects and grounding the 3D motion prediction on these properties, such as object stiffness. However, estimating physical material properties is an open problem due to the lack of material ground-truth data, as measuring these properties for real objects is highly difficult. We present PhysDreamer, a physics-based approach that endows static 3D objects with interactive dynamics by leveraging the object dynamics priors learned by video generation models. By distilling these priors, PhysDreamer enables the synthesis of realistic object responses to novel interactions, such as external forces or agent manipulations. We demonstrate our approach on diverse examples of elastic objects and evaluate the realism of the synthesized interactions through a user study. PhysDreamer takes a step towards more engaging and realistic virtual experiences by enabling static 3D objects to dynamically respond to interactive stimuli in a physically plausible manner. See our project page at https://physdreamer.github.io/.