Amplificação de Movimento 3D: Visualizando Movimentos Sutis com Campos de Radiação Variantes no Tempo
3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields
August 7, 2023
Autores: Brandon Y. Feng, Hadi Alzayer, Michael Rubinstein, William T. Freeman, Jia-Bin Huang
cs.AI
Resumo
A amplificação de movimento nos ajuda a visualizar movimentos sutis e imperceptíveis. No entanto, os métodos anteriores funcionam apenas para vídeos 2D capturados com uma câmera fixa. Apresentamos um método de amplificação de movimento 3D que pode amplificar movimentos sutis em cenas capturadas por uma câmera em movimento, ao mesmo tempo que suporta a renderização de novas perspectivas. Representamos a cena com campos de radiação variáveis no tempo e utilizamos o princípio Euleriano de amplificação de movimento para extrair e amplificar a variação da incorporação de um ponto fixo ao longo do tempo. Estudamos e validamos nosso princípio proposto para amplificação de movimento 3D usando tanto campos de radiação implícitos quanto baseados em triplanos como nossa representação subjacente da cena 3D. Avaliamos a eficácia do nosso método em cenas sintéticas e do mundo real capturadas sob várias configurações de câmera.
English
Motion magnification helps us visualize subtle, imperceptible motion.
However, prior methods only work for 2D videos captured with a fixed camera. We
present a 3D motion magnification method that can magnify subtle motions from
scenes captured by a moving camera, while supporting novel view rendering. We
represent the scene with time-varying radiance fields and leverage the Eulerian
principle for motion magnification to extract and amplify the variation of the
embedding of a fixed point over time. We study and validate our proposed
principle for 3D motion magnification using both implicit and tri-plane-based
radiance fields as our underlying 3D scene representation. We evaluate the
effectiveness of our method on both synthetic and real-world scenes captured
under various camera setups.