3Dモーションマグニフィケーション：時間変化する放射輝度場を用いた微細な動きの可視化

3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields

August 7, 2023

著者: Brandon Y. Feng, Hadi Alzayer, Michael Rubinstein, William T. Freeman, Jia-Bin Huang

cs.AI

要旨

モーション拡大法は、微細で知覚しにくい動きを可視化するのに役立ちます。しかし、従来の手法は固定カメラで撮影された2D動画にしか適用できませんでした。本研究では、移動するカメラで撮影されたシーンから微細な動きを拡大し、新規視点レンダリングも可能にする3Dモーション拡大法を提案します。時間変化する放射輝度フィールドでシーンを表現し、モーション拡大のためのオイラー原理を活用して、固定点の埋め込みの時間変化を抽出・増幅します。提案する3Dモーション拡大原理を、暗黙的およびトライプレーン型放射輝度フィールドを基盤とした3Dシーン表現を用いて検証します。様々なカメラ設定で撮影された合成シーンと実世界シーンにおいて、本手法の有効性を評価します。

English

Motion magnification helps us visualize subtle, imperceptible motion. However, prior methods only work for 2D videos captured with a fixed camera. We present a 3D motion magnification method that can magnify subtle motions from scenes captured by a moving camera, while supporting novel view rendering. We represent the scene with time-varying radiance fields and leverage the Eulerian principle for motion magnification to extract and amplify the variation of the embedding of a fixed point over time. We study and validate our proposed principle for 3D motion magnification using both implicit and tri-plane-based radiance fields as our underlying 3D scene representation. We evaluate the effectiveness of our method on both synthetic and real-world scenes captured under various camera setups.