Fotografia Mobile a Lunga Esposizione Computazionale

Computational Long Exposure Mobile Photography

August 2, 2023

Autori: Eric Tabellion, Nikhil Karnad, Noa Glaser, Ben Weiss, David E. Jacobs, Yael Pritch

cs.AI

Abstract

La fotografia a lunga esposizione produce immagini straordinarie, rappresentando gli elementi in movimento di una scena con un effetto di mosso. Viene generalmente impiegata in due modalità, producendo un effetto di sfocatura in primo piano o sullo sfondo. Le immagini con sfocatura in primo piano sono tradizionalmente catturate con una fotocamera montata su un treppiede e ritraggono elementi in movimento in primo piano, come acqua setosa o scie luminose, su uno sfondo paesaggistico perfettamente nitido. Le immagini con sfocatura sullo sfondo, chiamate anche fotografia di panning, vengono catturate mentre la fotocamera segue un soggetto in movimento, producendo un'immagine di un soggetto nitido su uno sfondo sfocato dal movimento relativo. Entrambe le tecniche sono notoriamente impegnative e richiedono attrezzature aggiuntive e competenze avanzate. In questo articolo, descriviamo un sistema di fotografia computazionale a raffica che opera in un'app per fotocamera di uno smartphone tenuto in mano e raggiunge questi effetti in modo completamente automatico, con un semplice tocco del pulsante di scatto. Il nostro approccio rileva e segmenta prima il soggetto saliente. Tracciamo il movimento della scena su più fotogrammi e allineiamo le immagini per preservare la nitidezza desiderata e produrre scie di movimento esteticamente piacevoli. Catturiamo una raffica sottoesposta e selezioniamo il sottoinsieme di fotogrammi di input che produrrà scie di sfocatura di lunghezza controllata, indipendentemente dalla velocità del movimento della scena o della fotocamera. Prevediamo il movimento tra i fotogrammi e sintetizziamo la sfocatura da movimento per riempire i gap temporali tra i fotogrammi di input. Infine, componiamo l'immagine sfocata con l'esposizione regolare nitida per proteggere la nitidezza dei volti o delle aree della scena che si muovono appena, e produciamo una fotografia finale ad alta risoluzione e ad alto intervallo dinamico (HDR). Il nostro sistema democratizza una capacità precedentemente riservata ai professionisti e rende questo stile creativo accessibile alla maggior parte dei fotografi amatoriali. Ulteriori informazioni e materiale supplementare sono disponibili sulla pagina del nostro progetto: https://motion-mode.github.io/

English

Long exposure photography produces stunning imagery, representing moving elements in a scene with motion-blur. It is generally employed in two modalities, producing either a foreground or a background blur effect. Foreground blur images are traditionally captured on a tripod-mounted camera and portray blurred moving foreground elements, such as silky water or light trails, over a perfectly sharp background landscape. Background blur images, also called panning photography, are captured while the camera is tracking a moving subject, to produce an image of a sharp subject over a background blurred by relative motion. Both techniques are notoriously challenging and require additional equipment and advanced skills. In this paper, we describe a computational burst photography system that operates in a hand-held smartphone camera app, and achieves these effects fully automatically, at the tap of the shutter button. Our approach first detects and segments the salient subject. We track the scene motion over multiple frames and align the images in order to preserve desired sharpness and to produce aesthetically pleasing motion streaks. We capture an under-exposed burst and select the subset of input frames that will produce blur trails of controlled length, regardless of scene or camera motion velocity. We predict inter-frame motion and synthesize motion-blur to fill the temporal gaps between the input frames. Finally, we composite the blurred image with the sharp regular exposure to protect the sharpness of faces or areas of the scene that are barely moving, and produce a final high resolution and high dynamic range (HDR) photograph. Our system democratizes a capability previously reserved to professionals, and makes this creative style accessible to most casual photographers. More information and supplementary material can be found on our project webpage: https://motion-mode.github.io/