Magnification 3D du mouvement : Visualisation des mouvements subtils avec des champs de radiance variant dans le temps

3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields

August 7, 2023

papers.authors: Brandon Y. Feng, Hadi Alzayer, Michael Rubinstein, William T. Freeman, Jia-Bin Huang

cs.AI

papers.abstract

L'amplification du mouvement nous permet de visualiser des mouvements subtils et imperceptibles. Cependant, les méthodes existantes ne fonctionnent que pour des vidéos 2D capturées avec une caméra fixe. Nous présentons une méthode d'amplification du mouvement en 3D capable de magnifier les mouvements subtils dans des scènes capturées par une caméra en mouvement, tout en permettant le rendu de nouvelles perspectives. Nous représentons la scène à l'aide de champs de radiance variant dans le temps et exploitons le principe eulérien d'amplification du mouvement pour extraire et amplifier la variation de l'embedding d'un point fixe au fil du temps. Nous étudions et validons notre principe proposé pour l'amplification du mouvement en 3D en utilisant à la fois des champs de radiance implicites et basés sur des tri-plans comme représentation sous-jacente de la scène 3D. Nous évaluons l'efficacité de notre méthode sur des scènes synthétiques et réelles capturées sous diverses configurations de caméra.

English

Motion magnification helps us visualize subtle, imperceptible motion. However, prior methods only work for 2D videos captured with a fixed camera. We present a 3D motion magnification method that can magnify subtle motions from scenes captured by a moving camera, while supporting novel view rendering. We represent the scene with time-varying radiance fields and leverage the Eulerian principle for motion magnification to extract and amplify the variation of the embedding of a fixed point over time. We study and validate our proposed principle for 3D motion magnification using both implicit and tri-plane-based radiance fields as our underlying 3D scene representation. We evaluate the effectiveness of our method on both synthetic and real-world scenes captured under various camera setups.