3D-Bewegungsvergrößerung: Visualisierung subtiler Bewegungen mit zeitlich variierenden Strahlungsfeldern

3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields

August 7, 2023

papers.authors: Brandon Y. Feng, Hadi Alzayer, Michael Rubinstein, William T. Freeman, Jia-Bin Huang

cs.AI

papers.abstract

Bewegungsvergrößerung ermöglicht es uns, subtile, kaum wahrnehmbare Bewegungen sichtbar zu machen. Bisherige Methoden funktionieren jedoch nur für 2D-Videos, die mit einer feststehenden Kamera aufgenommen wurden. Wir präsentieren eine Methode zur 3D-Bewegungsvergrößerung, die subtile Bewegungen in Szenen, die von einer beweglichen Kamera aufgenommen wurden, vergrößern kann und dabei das Rendern neuer Ansichten unterstützt. Wir repräsentieren die Szene mit zeitlich variierenden Strahlungsfeldern und nutzen das Eulersche Prinzip der Bewegungsvergrößerung, um die Variation der Einbettung eines festen Punktes über die Zeit zu extrahieren und zu verstärken. Wir untersuchen und validieren unser vorgeschlagenes Prinzip für die 3D-Bewegungsvergrößerung sowohl mit impliziten als auch mit triplanenbasierten Strahlungsfeldern als zugrunde liegende 3D-Szenendarstellung. Wir bewerten die Wirksamkeit unserer Methode anhand von synthetischen und realen Szenen, die unter verschiedenen Kameraeinstellungen aufgenommen wurden.

English

Motion magnification helps us visualize subtle, imperceptible motion. However, prior methods only work for 2D videos captured with a fixed camera. We present a 3D motion magnification method that can magnify subtle motions from scenes captured by a moving camera, while supporting novel view rendering. We represent the scene with time-varying radiance fields and leverage the Eulerian principle for motion magnification to extract and amplify the variation of the embedding of a fixed point over time. We study and validate our proposed principle for 3D motion magnification using both implicit and tri-plane-based radiance fields as our underlying 3D scene representation. We evaluate the effectiveness of our method on both synthetic and real-world scenes captured under various camera setups.