PhysDreamer: Физика основанного взаимодействия с 3D объектами через видео генерацию

PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

April 19, 2024

Авторы: Tianyuan Zhang, Hong-Xing Yu, Rundi Wu, Brandon Y. Feng, Changxi Zheng, Noah Snavely, Jiajun Wu, William T. Freeman

cs.AI

Аннотация

Реалистичное взаимодействие объектов является ключевым для создания захватывающих виртуальных переживаний, однако синтез реалистичной динамики 3D объектов в ответ на новые взаимодействия остается значительным вызовом. В отличие от безусловной или условной текстом генерации динамики, динамика, зависящая от действий, требует восприятия физических свойств материала объектов и опоры прогнозирования движения 3D на этих свойствах, таких как жесткость объекта. Однако оценка физических свойств материала является открытой проблемой из-за отсутствия данных о фактических свойствах материала, поскольку измерение этих свойств для реальных объектов является крайне сложным. Мы представляем PhysDreamer, физически основанный подход, который наделяет статические 3D объекты интерактивной динамикой, используя знания о динамике объектов приобретенные моделями генерации видео. Путем дистилляции этих знаний, PhysDreamer позволяет синтезировать реалистичные ответы объектов на новые взаимодействия, такие как внешние силы или манипуляции агентов. Мы демонстрируем наш подход на различных примерах упругих объектов и оцениваем реализм синтезированных взаимодействий с помощью пользовательского исследования. PhysDreamer делает шаг к более увлекательным и реалистичным виртуальным переживаниям, позволяя статическим 3D объектам динамически реагировать на интерактивные стимулы в физически правдоподобной манере. Посетите нашу страницу проекта по адресу https://physdreamer.github.io/.

English

Realistic object interactions are crucial for creating immersive virtual experiences, yet synthesizing realistic 3D object dynamics in response to novel interactions remains a significant challenge. Unlike unconditional or text-conditioned dynamics generation, action-conditioned dynamics requires perceiving the physical material properties of objects and grounding the 3D motion prediction on these properties, such as object stiffness. However, estimating physical material properties is an open problem due to the lack of material ground-truth data, as measuring these properties for real objects is highly difficult. We present PhysDreamer, a physics-based approach that endows static 3D objects with interactive dynamics by leveraging the object dynamics priors learned by video generation models. By distilling these priors, PhysDreamer enables the synthesis of realistic object responses to novel interactions, such as external forces or agent manipulations. We demonstrate our approach on diverse examples of elastic objects and evaluate the realism of the synthesized interactions through a user study. PhysDreamer takes a step towards more engaging and realistic virtual experiences by enabling static 3D objects to dynamically respond to interactive stimuli in a physically plausible manner. See our project page at https://physdreamer.github.io/.