Photographie mobile à longue exposition computationnelle

Computational Long Exposure Mobile Photography

August 2, 2023

Auteurs: Eric Tabellion, Nikhil Karnad, Noa Glaser, Ben Weiss, David E. Jacobs, Yael Pritch

cs.AI

Résumé

La photographie à longue exposition produit des images spectaculaires, représentant les éléments en mouvement d'une scène avec un flou de mouvement. Elle est généralement utilisée selon deux modalités, produisant soit un effet de flou au premier plan, soit un effet de flou en arrière-plan. Les images avec flou au premier plan sont traditionnellement capturées avec un appareil photo monté sur un trépied et dépeignent des éléments mobiles au premier plan, tels que de l'eau soyeuse ou des traînées lumineuses, sur un paysage d'arrière-plan parfaitement net. Les images avec flou en arrière-plan, également appelées photographie en filé, sont capturées pendant que l'appareil suit un sujet en mouvement, pour produire une image d'un sujet net sur un arrière-plan flou dû au mouvement relatif. Ces deux techniques sont réputées difficiles et nécessitent un équipement supplémentaire ainsi que des compétences avancées. Dans cet article, nous décrivons un système de photographie computationnelle en rafale qui fonctionne dans une application d'appareil photo de smartphone tenu à la main, et qui réalise ces effets de manière entièrement automatique, en appuyant simplement sur le bouton de l'obturateur. Notre approche détecte et segmente d'abord le sujet principal. Nous suivons le mouvement de la scène sur plusieurs images et alignons les images afin de préserver la netteté souhaitée et de produire des traînées de mouvement esthétiquement plaisantes. Nous capturons une rafale sous-exposée et sélectionnons le sous-ensemble d'images d'entrée qui produira des traînées de flou de longueur contrôlée, indépendamment de la vitesse du mouvement de la scène ou de l'appareil. Nous prédisons le mouvement inter-images et synthétisons le flou de mouvement pour combler les lacunes temporelles entre les images d'entrée. Enfin, nous compositons l'image floutée avec l'exposition régulière nette pour protéger la netteté des visages ou des zones de la scène qui bougent à peine, et produisons une photographie finale en haute résolution et à haute plage dynamique (HDR). Notre système démocratise une capacité auparavant réservée aux professionnels, et rend ce style créatif accessible à la plupart des photographes amateurs. Plus d'informations et du matériel supplémentaire peuvent être trouvés sur la page web de notre projet : https://motion-mode.github.io/

English

Long exposure photography produces stunning imagery, representing moving elements in a scene with motion-blur. It is generally employed in two modalities, producing either a foreground or a background blur effect. Foreground blur images are traditionally captured on a tripod-mounted camera and portray blurred moving foreground elements, such as silky water or light trails, over a perfectly sharp background landscape. Background blur images, also called panning photography, are captured while the camera is tracking a moving subject, to produce an image of a sharp subject over a background blurred by relative motion. Both techniques are notoriously challenging and require additional equipment and advanced skills. In this paper, we describe a computational burst photography system that operates in a hand-held smartphone camera app, and achieves these effects fully automatically, at the tap of the shutter button. Our approach first detects and segments the salient subject. We track the scene motion over multiple frames and align the images in order to preserve desired sharpness and to produce aesthetically pleasing motion streaks. We capture an under-exposed burst and select the subset of input frames that will produce blur trails of controlled length, regardless of scene or camera motion velocity. We predict inter-frame motion and synthesize motion-blur to fill the temporal gaps between the input frames. Finally, we composite the blurred image with the sharp regular exposure to protect the sharpness of faces or areas of the scene that are barely moving, and produce a final high resolution and high dynamic range (HDR) photograph. Our system democratizes a capability previously reserved to professionals, and makes this creative style accessible to most casual photographers. More information and supplementary material can be found on our project webpage: https://motion-mode.github.io/