Afbeelding als een IMU: Camerabeweging schatten vanuit een enkele bewegingsonscherpe afbeelding

Image as an IMU: Estimating Camera Motion from a Single Motion-Blurred Image

March 21, 2025

Auteurs: Jerred Chen, Ronald Clark

cs.AI

Samenvatting

In veel robotica- en VR/AR-toepassingen veroorzaken snelle camerabewegingen een hoog niveau van bewegingsonscherpte, waardoor bestaande methoden voor camerapose-schatting falen. In dit werk stellen we een nieuw raamwerk voor dat bewegingsonscherpte benut als een rijke aanwijzing voor beweging-schatting, in plaats van het te behandelen als een ongewenst artefact. Onze aanpak werkt door een dicht bewegingsstroomveld en een monocular dieptekaart direct uit een enkele bewegingsonscherpe afbeelding te voorspellen. Vervolgens herstellen we de momentane camerasnelheid door een lineair kleinste-kwadratenprobleem op te lossen onder de aanname van kleine beweging. In essentie produceert onze methode een IMU-achtige meting die snelle en agressieve camerabewegingen robuust vastlegt. Om ons model te trainen, construeren we een grootschalige dataset met realistische synthetische bewegingsonscherpte afgeleid van ScanNet++v2 en verfijnen we ons model verder door end-to-end te trainen op echte data met behulp van onze volledig differentieerbare pijplijn. Uitgebreide evaluaties op real-world benchmarks tonen aan dat onze methode state-of-the-art schattingen van hoek- en translatiesnelheid bereikt, en huidige methoden zoals MASt3R en COLMAP overtreft.

English

In many robotics and VR/AR applications, fast camera motions cause a high level of motion blur, causing existing camera pose estimation methods to fail. In this work, we propose a novel framework that leverages motion blur as a rich cue for motion estimation rather than treating it as an unwanted artifact. Our approach works by predicting a dense motion flow field and a monocular depth map directly from a single motion-blurred image. We then recover the instantaneous camera velocity by solving a linear least squares problem under the small motion assumption. In essence, our method produces an IMU-like measurement that robustly captures fast and aggressive camera movements. To train our model, we construct a large-scale dataset with realistic synthetic motion blur derived from ScanNet++v2 and further refine our model by training end-to-end on real data using our fully differentiable pipeline. Extensive evaluations on real-world benchmarks demonstrate that our method achieves state-of-the-art angular and translational velocity estimates, outperforming current methods like MASt3R and COLMAP.