Fotografia Móvel de Longa Exposição Computacional

Computational Long Exposure Mobile Photography

August 2, 2023

Autores: Eric Tabellion, Nikhil Karnad, Noa Glaser, Ben Weiss, David E. Jacobs, Yael Pritch

cs.AI

Resumo

A fotografia de longa exposição produz imagens impressionantes, representando elementos em movimento em uma cena com desfoque de movimento. Geralmente, ela é empregada em duas modalidades, produzindo efeitos de desfoque no primeiro plano ou no fundo. As imagens com desfoque no primeiro plano são tradicionalmente capturadas com uma câmera montada em um tripé e retratam elementos móveis desfocados no primeiro plano, como água sedosa ou trilhas de luz, sobre uma paisagem de fundo perfeitamente nítida. As imagens com desfoque no fundo, também chamadas de fotografia panorâmica, são capturadas enquanto a câmera acompanha um sujeito em movimento, produzindo uma imagem de um sujeito nítido sobre um fundo desfocado pelo movimento relativo. Ambas as técnicas são notoriamente desafiadoras e exigem equipamentos adicionais e habilidades avançadas. Neste artigo, descrevemos um sistema computacional de fotografia em rajada que opera em um aplicativo de câmera de smartphone portátil e alcança esses efeitos de forma totalmente automática, com um simples toque no botão do obturador. Nossa abordagem primeiro detecta e segmenta o sujeito saliente. Rastreamos o movimento da cena em vários quadros e alinhamos as imagens para preservar a nitidez desejada e produzir faixas de movimento esteticamente agradáveis. Capturamos uma rajada subexposta e selecionamos o subconjunto de quadros de entrada que produzirá trilhas de desfoque de comprimento controlado, independentemente da velocidade do movimento da cena ou da câmera. Prevemos o movimento entre quadros e sintetizamos o desfoque de movimento para preencher as lacunas temporais entre os quadros de entrada. Por fim, combinamos a imagem desfocada com a exposição regular nítida para proteger a nitidez de rostos ou áreas da cena que estão quase paradas, e produzimos uma fotografia final de alta resolução e alta faixa dinâmica (HDR). Nosso sistema democratiza uma capacidade anteriormente reservada a profissionais e torna esse estilo criativo acessível à maioria dos fotógrafos casuais. Mais informações e material complementar podem ser encontrados em nossa página do projeto: https://motion-mode.github.io/

English

Long exposure photography produces stunning imagery, representing moving elements in a scene with motion-blur. It is generally employed in two modalities, producing either a foreground or a background blur effect. Foreground blur images are traditionally captured on a tripod-mounted camera and portray blurred moving foreground elements, such as silky water or light trails, over a perfectly sharp background landscape. Background blur images, also called panning photography, are captured while the camera is tracking a moving subject, to produce an image of a sharp subject over a background blurred by relative motion. Both techniques are notoriously challenging and require additional equipment and advanced skills. In this paper, we describe a computational burst photography system that operates in a hand-held smartphone camera app, and achieves these effects fully automatically, at the tap of the shutter button. Our approach first detects and segments the salient subject. We track the scene motion over multiple frames and align the images in order to preserve desired sharpness and to produce aesthetically pleasing motion streaks. We capture an under-exposed burst and select the subset of input frames that will produce blur trails of controlled length, regardless of scene or camera motion velocity. We predict inter-frame motion and synthesize motion-blur to fill the temporal gaps between the input frames. Finally, we composite the blurred image with the sharp regular exposure to protect the sharpness of faces or areas of the scene that are barely moving, and produce a final high resolution and high dynamic range (HDR) photograph. Our system democratizes a capability previously reserved to professionals, and makes this creative style accessible to most casual photographers. More information and supplementary material can be found on our project webpage: https://motion-mode.github.io/