Amplificación de Movimiento 3D: Visualización de Movimientos Sutiles con Campos de Radiancia Variables en el Tiempo

3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields

August 7, 2023

Autores: Brandon Y. Feng, Hadi Alzayer, Michael Rubinstein, William T. Freeman, Jia-Bin Huang

cs.AI

Resumen

La magnificación de movimiento nos permite visualizar movimientos sutiles e imperceptibles. Sin embargo, los métodos anteriores solo funcionan para videos 2D capturados con una cámara fija. Presentamos un método de magnificación de movimiento en 3D que puede amplificar movimientos sutiles en escenas capturadas por una cámara en movimiento, al mismo tiempo que permite la renderización de nuevas vistas. Representamos la escena con campos de radiancia que varían en el tiempo y aprovechamos el principio Euleriano para la magnificación de movimiento, con el fin de extraer y amplificar la variación de la incrustación de un punto fijo a lo largo del tiempo. Estudiamos y validamos nuestro principio propuesto para la magnificación de movimiento en 3D utilizando tanto campos de radiancia implícitos como basados en triplanos como nuestra representación subyacente de la escena 3D. Evaluamos la efectividad de nuestro método en escenas tanto sintéticas como del mundo real, capturadas bajo diversas configuraciones de cámara.

English

Motion magnification helps us visualize subtle, imperceptible motion. However, prior methods only work for 2D videos captured with a fixed camera. We present a 3D motion magnification method that can magnify subtle motions from scenes captured by a moving camera, while supporting novel view rendering. We represent the scene with time-varying radiance fields and leverage the Eulerian principle for motion magnification to extract and amplify the variation of the embedding of a fixed point over time. We study and validate our proposed principle for 3D motion magnification using both implicit and tri-plane-based radiance fields as our underlying 3D scene representation. We evaluate the effectiveness of our method on both synthetic and real-world scenes captured under various camera setups.