Ingrandimento del Movimento 3D: Visualizzazione di Movimenti Sottili con Campi di Radianza Variabili nel Tempo

3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields

August 7, 2023

Autori: Brandon Y. Feng, Hadi Alzayer, Michael Rubinstein, William T. Freeman, Jia-Bin Huang

cs.AI

Abstract

L'ingrandimento del movimento ci aiuta a visualizzare moti sottili e impercettibili. Tuttavia, i metodi precedenti funzionano solo per video 2D catturati con una telecamera fissa. Presentiamo un metodo di ingrandimento del movimento 3D in grado di amplificare moti sottili da scene riprese con una telecamera in movimento, supportando anche il rendering da nuove prospettive. Rappresentiamo la scena con campi di radianza variabili nel tempo e sfruttiamo il principio euleriano per l'ingrandimento del movimento per estrarre e amplificare la variazione dell'embedding di un punto fisso nel tempo. Studiamo e validiamo il nostro principio proposto per l'ingrandimento del movimento 3D utilizzando sia campi di radianza impliciti che basati su tri-piani come rappresentazione sottostante della scena 3D. Valutiamo l'efficacia del nostro metodo su scene sia sintetiche che reali, catturate con diverse configurazioni della telecamera.

English

Motion magnification helps us visualize subtle, imperceptible motion. However, prior methods only work for 2D videos captured with a fixed camera. We present a 3D motion magnification method that can magnify subtle motions from scenes captured by a moving camera, while supporting novel view rendering. We represent the scene with time-varying radiance fields and leverage the Eulerian principle for motion magnification to extract and amplify the variation of the embedding of a fixed point over time. We study and validate our proposed principle for 3D motion magnification using both implicit and tri-plane-based radiance fields as our underlying 3D scene representation. We evaluate the effectiveness of our method on both synthetic and real-world scenes captured under various camera setups.