낙엽으로 바람을 보다

초록

컴퓨터 비전의 오랜 목표 중 하나는 동영상으로부터 운동을 모델링하는 것이지만, 운동 뒤에 숨겨진 표현, 즉 물체의 변형과 이동을 유발하는 보이지 않는 물리적 상호작용은 여전히 크게 탐구되지 않고 있습니다. 본 논문에서는 낙엽이 땅에 떨어지는 것을 관찰하여 바람의 흐름을 추정하는 것과 같이 시각적 관찰로부터 보이지 않는 힘을 복원하는 방법을 연구합니다. 우리의 핵심 혁신은 객체 기하학, 물리적 속성 및 상호작용을 동영상으로부터 직접 공동 모델링하는 end-to-end 미분 가능 역그래픽스 프레임워크입니다. 역전파를 통해 우리의 접근 방식은 객체 운동으로부터 힘 표현을 복원할 수 있게 합니다. 우리는 합성 및 실제 시나리오에서 우리 방법을 검증하였으며, 그 결과 동영상으로부터 타당한 힘장을 추론하는 능력을 입증했습니다. 나아가 물리 기반 동영상 생성 및 편집을 포함한 우리 접근법의 잠재적 응용 분야를 보여줍니다. 우리는 이 연구가 픽셀 뒤에 숨겨진 물리적 과정을 이해하고 모델링하며 비전과 물리학 간의 간극을 좁히는 데 기여하기를 바랍니다. 더 많은 동영상 결과는 https://chaoren2357.github.io/seeingthewind/{프로젝트 페이지}에서 확인하시기 바랍니다.

English

A longstanding goal in computer vision is to model motions from videos, while the representations behind motions, i.e. the invisible physical interactions that cause objects to deform and move, remain largely unexplored. In this paper, we study how to recover the invisible forces from visual observations, e.g., estimating the wind field by observing a leaf falling to the ground. Our key innovation is an end-to-end differentiable inverse graphics framework, which jointly models object geometry, physical properties, and interactions directly from videos. Through backpropagation, our approach enables the recovery of force representations from object motions. We validate our method on both synthetic and real-world scenarios, and the results demonstrate its ability to infer plausible force fields from videos. Furthermore, we show the potential applications of our approach, including physics-based video generation and editing. We hope our approach sheds light on understanding and modeling the physical process behind pixels, bridging the gap between vision and physics. Please check more video results in our https://chaoren2357.github.io/seeingthewind/{project page}.

낙엽으로 바람을 보다

Seeing the Wind from a Falling Leaf

초록

Support