Computationale Lange Belichting Mobiele Fotografie

Computational Long Exposure Mobile Photography

August 2, 2023

Auteurs: Eric Tabellion, Nikhil Karnad, Noa Glaser, Ben Weiss, David E. Jacobs, Yael Pritch

cs.AI

Samenvatting

Lang belichting fotografie produceert indrukwekkende beelden, waarbij bewegende elementen in een scène worden weergegeven met bewegingsonscherpte. Het wordt over het algemeen in twee modaliteiten toegepast, waarbij ofwel een voorgrond- of een achtergrondonscherpte-effect wordt geproduceerd. Voorgrondonscherpte-beelden worden traditioneel vastgelegd met een camera op een statief en tonen bewogen voorgrondelementen, zoals zijdezacht water of lichtsporen, tegen een perfect scherp achtergrondlandschap. Achtergrondonscherpte-beelden, ook wel panning fotografie genoemd, worden vastgelegd terwijl de camera een bewegend onderwerp volgt, om een beeld te produceren van een scherp onderwerp tegen een achtergrond die onscherp is door relatieve beweging. Beide technieken staan bekend als uitdagend en vereisen extra apparatuur en geavanceerde vaardigheden. In dit artikel beschrijven we een computationeel burst fotografie systeem dat werkt in een handmatige smartphonecamera-app en deze effecten volledig automatisch bereikt met een druk op de sluiterknop. Onze aanpak detecteert en segmenteert eerst het opvallende onderwerp. We volgen de scènebeweging over meerdere frames en aligneren de beelden om de gewenste scherpte te behouden en esthetisch aantrekkelijke bewegingsstrepen te produceren. We nemen een onderbelichte burst op en selecteren de subset van invoerframes die bewegingsonscherpte van gecontroleerde lengte zullen produceren, ongeacht de snelheid van de scène of camerabeweging. We voorspellen de beweging tussen frames en synthetiseren bewegingsonscherpte om de temporele gaten tussen de invoerframes op te vullen. Tot slot combineren we het onscherpe beeld met de scherpe reguliere belichting om de scherpte van gezichten of delen van de scène die nauwelijks bewegen te beschermen, en produceren we een uiteindelijke foto met hoge resolutie en hoog dynamisch bereik (HDR). Ons systeem democratiseert een mogelijkheid die voorheen voorbehouden was aan professionals en maakt deze creatieve stijl toegankelijk voor de meeste amateurfotografen. Meer informatie en aanvullend materiaal zijn te vinden op onze projectwebpagina: https://motion-mode.github.io/

English

Long exposure photography produces stunning imagery, representing moving elements in a scene with motion-blur. It is generally employed in two modalities, producing either a foreground or a background blur effect. Foreground blur images are traditionally captured on a tripod-mounted camera and portray blurred moving foreground elements, such as silky water or light trails, over a perfectly sharp background landscape. Background blur images, also called panning photography, are captured while the camera is tracking a moving subject, to produce an image of a sharp subject over a background blurred by relative motion. Both techniques are notoriously challenging and require additional equipment and advanced skills. In this paper, we describe a computational burst photography system that operates in a hand-held smartphone camera app, and achieves these effects fully automatically, at the tap of the shutter button. Our approach first detects and segments the salient subject. We track the scene motion over multiple frames and align the images in order to preserve desired sharpness and to produce aesthetically pleasing motion streaks. We capture an under-exposed burst and select the subset of input frames that will produce blur trails of controlled length, regardless of scene or camera motion velocity. We predict inter-frame motion and synthesize motion-blur to fill the temporal gaps between the input frames. Finally, we composite the blurred image with the sharp regular exposure to protect the sharpness of faces or areas of the scene that are barely moving, and produce a final high resolution and high dynamic range (HDR) photograph. Our system democratizes a capability previously reserved to professionals, and makes this creative style accessible to most casual photographers. More information and supplementary material can be found on our project webpage: https://motion-mode.github.io/