Видя ветер в падении листа
Seeing the Wind from a Falling Leaf
November 30, 2025
Авторы: Zhiyuan Gao, Jiageng Mao, Hong-Xing Yu, Haozhe Lou, Emily Yue-Ting Jia, Jernej Barbic, Jiajun Wu, Yue Wang
cs.AI
Аннотация
Долгосрочной целью компьютерного зрения является моделирование движений по видео, однако представления, лежащие в основе движений, — то есть невидимые физические взаимодействия, вызывающие деформацию и перемещение объектов, — остаются в значительной степени неисследованными. В данной работе мы изучаем, как восстановить невидимые силы по визуальным наблюдениям, например, оценить поле ветра, наблюдая за падением листа на землю. Нашим ключевым нововведением является дифференцируемый end-to-end фреймворк обратной графики, который совместно моделирует геометрию объектов, физические свойства и взаимодействия непосредственно из видеозаписей. Благодаря использованию обратного распространения ошибки наш подход позволяет восстанавливать представления сил из движений объектов. Мы проверяем наш метод на синтетических и реальных сценариях, и результаты демонстрируют его способность выводить правдоподобные силовые поля из видео. Кроме того, мы показываем потенциальные применения нашего подхода, включая физически достоверную генерацию и редактирование видео. Мы надеемся, что наш подход прольет свет на понимание и моделирование физического процесса, стоящего за пикселями, сокращая разрыв между зрением и физикой. Дополнительные видео-результаты доступны на нашей {странице проекта}: https://chaoren2357.github.io/seeingthewind/.
English
A longstanding goal in computer vision is to model motions from videos, while the representations behind motions, i.e. the invisible physical interactions that cause objects to deform and move, remain largely unexplored. In this paper, we study how to recover the invisible forces from visual observations, e.g., estimating the wind field by observing a leaf falling to the ground. Our key innovation is an end-to-end differentiable inverse graphics framework, which jointly models object geometry, physical properties, and interactions directly from videos. Through backpropagation, our approach enables the recovery of force representations from object motions. We validate our method on both synthetic and real-world scenarios, and the results demonstrate its ability to infer plausible force fields from videos. Furthermore, we show the potential applications of our approach, including physics-based video generation and editing. We hope our approach sheds light on understanding and modeling the physical process behind pixels, bridging the gap between vision and physics. Please check more video results in our https://chaoren2357.github.io/seeingthewind/{project page}.