3D Bewegingsvergroting: Het Visualiseren van Subtiele Bewegingen met Tijdvariërende Stralingsvelden

3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields

August 7, 2023

Auteurs: Brandon Y. Feng, Hadi Alzayer, Michael Rubinstein, William T. Freeman, Jia-Bin Huang

cs.AI

Samenvatting

Bewegingsvergroting helpt ons subtiele, onmerkbare bewegingen te visualiseren. Eerdere methoden werken echter alleen voor 2D-video's die zijn vastgelegd met een vaste camera. Wij presenteren een 3D-bewegingsvergrotingmethode die subtiele bewegingen kan vergroten uit scènes die zijn vastgelegd door een bewegende camera, terwijl ondersteuning wordt geboden voor het renderen van nieuwe gezichtspunten. Wij representeren de scène met tijdvariërende stralingsvelden en maken gebruik van het Euleriaanse principe voor bewegingvergroting om de variatie van de inbedding van een vast punt in de tijd te extraheren en te versterken. Wij bestuderen en valideren ons voorgestelde principe voor 3D-bewegingsvergroting met behulp van zowel impliciete als tri-plane-gebaseerde stralingsvelden als onze onderliggende 3D-scène-representatie. Wij evalueren de effectiviteit van onze methode op zowel synthetische als real-world scènes die zijn vastgelegd onder verschillende cameraconfiguraties.

English

Motion magnification helps us visualize subtle, imperceptible motion. However, prior methods only work for 2D videos captured with a fixed camera. We present a 3D motion magnification method that can magnify subtle motions from scenes captured by a moving camera, while supporting novel view rendering. We represent the scene with time-varying radiance fields and leverage the Eulerian principle for motion magnification to extract and amplify the variation of the embedding of a fixed point over time. We study and validate our proposed principle for 3D motion magnification using both implicit and tri-plane-based radiance fields as our underlying 3D scene representation. We evaluate the effectiveness of our method on both synthetic and real-world scenes captured under various camera setups.