Computational Long Exposure Mobile Fotografie

Computational Long Exposure Mobile Photography

August 2, 2023

Autoren: Eric Tabellion, Nikhil Karnad, Noa Glaser, Ben Weiss, David E. Jacobs, Yael Pritch

cs.AI

Zusammenfassung

Die Langzeitbelichtungsfotografie erzeugt beeindruckende Bilder, die bewegte Elemente einer Szene mit Bewegungsunschärfe darstellen. Sie wird im Allgemeinen in zwei Modi eingesetzt, um entweder einen Vordergrund- oder einen Hintergrundunschärfeeffekt zu erzielen. Vordergrundunschärfe-Bilder werden traditionell mit einer auf einem Stativ montierten Kamera aufgenommen und zeigen unscharfe bewegte Vordergrundelemente, wie seidiges Wasser oder Lichtspuren, vor einem perfekt scharfen Hintergrundlandschaftsbild. Hintergrundunschärfe-Bilder, auch als Schwenkfotografie bezeichnet, werden aufgenommen, während die Kamera ein sich bewegendes Motiv verfolgt, um ein Bild eines scharfen Motivs vor einem durch relative Bewegung unscharfen Hintergrund zu erzeugen. Beide Techniken sind bekanntlich anspruchsvoll und erfordern zusätzliche Ausrüstung und fortgeschrittene Fähigkeiten. In diesem Artikel beschreiben wir ein rechnergestütztes Burst-Fotografie-System, das in einer Handy-Kamera-App arbeitet und diese Effekte vollautomatisch mit einem einzigen Tastendruck erzielt. Unser Ansatz erkennt und segmentiert zunächst das relevante Motiv. Wir verfolgen die Szenenbewegung über mehrere Bilder und richten die Bilder aus, um die gewünschte Schärfe zu bewahren und ästhetisch ansprechende Bewegungsstreifen zu erzeugen. Wir nehmen eine unterbelichtete Burst-Aufnahme auf und wählen die Teilmenge der Eingabebilder aus, die Unschärfespuren von kontrollierter Länge erzeugen, unabhängig von der Geschwindigkeit der Szene oder der Kamera. Wir sagen die Bewegung zwischen den Bildern voraus und synthetisieren Bewegungsunschärfe, um die zeitlichen Lücken zwischen den Eingabebildern zu füllen. Schließlich kombinieren wir das unscharfe Bild mit der scharfen regulären Belichtung, um die Schärfe von Gesichtern oder Bereichen der Szene, die sich kaum bewegen, zu bewahren und ein endgültiges hochauflösendes und hochdynamisches (HDR) Foto zu erzeugen. Unser System demokratisiert eine Fähigkeit, die bisher Profis vorbehalten war, und macht diesen kreativen Stil den meisten Hobbyfotografen zugänglich. Weitere Informationen und ergänzendes Material finden Sie auf unserer Projektwebseite: https://motion-mode.github.io/

English

Long exposure photography produces stunning imagery, representing moving elements in a scene with motion-blur. It is generally employed in two modalities, producing either a foreground or a background blur effect. Foreground blur images are traditionally captured on a tripod-mounted camera and portray blurred moving foreground elements, such as silky water or light trails, over a perfectly sharp background landscape. Background blur images, also called panning photography, are captured while the camera is tracking a moving subject, to produce an image of a sharp subject over a background blurred by relative motion. Both techniques are notoriously challenging and require additional equipment and advanced skills. In this paper, we describe a computational burst photography system that operates in a hand-held smartphone camera app, and achieves these effects fully automatically, at the tap of the shutter button. Our approach first detects and segments the salient subject. We track the scene motion over multiple frames and align the images in order to preserve desired sharpness and to produce aesthetically pleasing motion streaks. We capture an under-exposed burst and select the subset of input frames that will produce blur trails of controlled length, regardless of scene or camera motion velocity. We predict inter-frame motion and synthesize motion-blur to fill the temporal gaps between the input frames. Finally, we composite the blurred image with the sharp regular exposure to protect the sharpness of faces or areas of the scene that are barely moving, and produce a final high resolution and high dynamic range (HDR) photograph. Our system democratizes a capability previously reserved to professionals, and makes this creative style accessible to most casual photographers. More information and supplementary material can be found on our project webpage: https://motion-mode.github.io/