3D-увеличение движения: визуализация малозаметных движений с использованием изменяющихся во времени полей излучения

3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields

August 7, 2023

Авторы: Brandon Y. Feng, Hadi Alzayer, Michael Rubinstein, William T. Freeman, Jia-Bin Huang

cs.AI

Аннотация

Увеличение движения помогает визуализировать тонкие, незаметные движения. Однако предыдущие методы работали только для 2D-видео, снятых с фиксированной камеры. Мы представляем метод увеличения движения в 3D, который позволяет усиливать тонкие движения в сценах, снятых движущейся камерой, с поддержкой рендеринга новых ракурсов. Мы представляем сцену с помощью изменяющихся во времени полей излучения и используем принцип Эйлера для увеличения движения, чтобы извлечь и усилить изменение вложения фиксированной точки с течением времени. Мы исследуем и подтверждаем наш предложенный принцип для увеличения движения в 3D, используя как неявные, так и основанные на триплоскостях поля излучения в качестве базового представления 3D-сцены. Мы оцениваем эффективность нашего метода на синтетических и реальных сценах, снятых при различных настройках камеры.

English

Motion magnification helps us visualize subtle, imperceptible motion. However, prior methods only work for 2D videos captured with a fixed camera. We present a 3D motion magnification method that can magnify subtle motions from scenes captured by a moving camera, while supporting novel view rendering. We represent the scene with time-varying radiance fields and leverage the Eulerian principle for motion magnification to extract and amplify the variation of the embedding of a fixed point over time. We study and validate our proposed principle for 3D motion magnification using both implicit and tri-plane-based radiance fields as our underlying 3D scene representation. We evaluate the effectiveness of our method on both synthetic and real-world scenes captured under various camera setups.