3D 모션 증폭: 시간에 따라 변화하는 광도 필드를 이용한 미세 움직임 시각화

초록

모션 확대 기술은 미세하고 인지하기 어려운 움직임을 시각적으로 확인할 수 있게 해줍니다. 그러나 기존 방법들은 고정된 카메라로 촬영된 2D 비디오에만 적용 가능했습니다. 본 연구에서는 움직이는 카메라로 촬영된 장면에서도 미세한 움직임을 확대할 수 있는 3D 모션 확대 방법을 제안하며, 새로운 시점 렌더링도 지원합니다. 우리는 시간에 따라 변화하는 광도 필드로 장면을 표현하고, 오일러 원리를 활용하여 고정된 점의 임베딩 변화를 추출하고 증폭합니다. 제안된 3D 모션 확대 원리를 검증하기 위해 내재적 광도 필드와 트라이플레인 기반 광도 필드를 기반으로 한 3D 장면 표현 방식을 연구하고 적용했습니다. 또한 다양한 카메라 설정으로 촬영된 합성 및 실제 장면에서 본 방법의 효과를 평가했습니다.

English

Motion magnification helps us visualize subtle, imperceptible motion. However, prior methods only work for 2D videos captured with a fixed camera. We present a 3D motion magnification method that can magnify subtle motions from scenes captured by a moving camera, while supporting novel view rendering. We represent the scene with time-varying radiance fields and leverage the Eulerian principle for motion magnification to extract and amplify the variation of the embedding of a fixed point over time. We study and validate our proposed principle for 3D motion magnification using both implicit and tri-plane-based radiance fields as our underlying 3D scene representation. We evaluate the effectiveness of our method on both synthetic and real-world scenes captured under various camera setups.

3D 모션 증폭: 시간에 따라 변화하는 광도 필드를 이용한 미세 움직임 시각화

3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields

초록

Support