Fotografía móvil de larga exposición computacional

Computational Long Exposure Mobile Photography

August 2, 2023

Autores: Eric Tabellion, Nikhil Karnad, Noa Glaser, Ben Weiss, David E. Jacobs, Yael Pritch

cs.AI

Resumen

La fotografía de larga exposición produce imágenes impresionantes que representan elementos en movimiento en una escena con desenfoque por movimiento. Generalmente se emplea en dos modalidades, produciendo ya sea un efecto de desenfoque en el primer plano o en el fondo. Las imágenes con desenfoque en primer plano se capturan tradicionalmente con una cámara montada en un trípode y muestran elementos en movimiento en el primer plano, como agua sedosa o trazos de luz, sobre un paisaje de fondo perfectamente nítido. Las imágenes con desenfoque de fondo, también llamadas fotografía de paneo, se capturan mientras la cámara sigue a un sujeto en movimiento, produciendo una imagen de un sujeto nítido sobre un fondo desenfocado por el movimiento relativo. Ambas técnicas son notoriamente desafiantes y requieren equipo adicional y habilidades avanzadas. En este artículo, describimos un sistema computacional de fotografía en ráfaga que opera en una aplicación de cámara de teléfono inteligente sostenido a mano, y logra estos efectos de manera completamente automática, con solo presionar el botón del obturador. Nuestro enfoque primero detecta y segmenta el sujeto destacado. Rastreamos el movimiento de la escena en múltiples fotogramas y alineamos las imágenes para preservar la nitidez deseada y producir trazos de movimiento estéticamente agradables. Capturamos una ráfaga subexpuesta y seleccionamos el subconjunto de fotogramas de entrada que producirán trazos de desenfoque de longitud controlada, independientemente de la velocidad del movimiento de la escena o de la cámara. Predecimos el movimiento entre fotogramas y sintetizamos el desenfoque por movimiento para llenar los vacíos temporales entre los fotogramas de entrada. Finalmente, combinamos la imagen desenfocada con la exposición regular nítida para proteger la nitidez de los rostros o áreas de la escena que apenas se mueven, y producimos una fotografía final de alta resolución y alto rango dinámico (HDR). Nuestro sistema democratiza una capacidad anteriormente reservada a profesionales, y hace que este estilo creativo sea accesible para la mayoría de los fotógrafos casuales. Más información y material complementario se pueden encontrar en la página web de nuestro proyecto: https://motion-mode.github.io/

English

Long exposure photography produces stunning imagery, representing moving elements in a scene with motion-blur. It is generally employed in two modalities, producing either a foreground or a background blur effect. Foreground blur images are traditionally captured on a tripod-mounted camera and portray blurred moving foreground elements, such as silky water or light trails, over a perfectly sharp background landscape. Background blur images, also called panning photography, are captured while the camera is tracking a moving subject, to produce an image of a sharp subject over a background blurred by relative motion. Both techniques are notoriously challenging and require additional equipment and advanced skills. In this paper, we describe a computational burst photography system that operates in a hand-held smartphone camera app, and achieves these effects fully automatically, at the tap of the shutter button. Our approach first detects and segments the salient subject. We track the scene motion over multiple frames and align the images in order to preserve desired sharpness and to produce aesthetically pleasing motion streaks. We capture an under-exposed burst and select the subset of input frames that will produce blur trails of controlled length, regardless of scene or camera motion velocity. We predict inter-frame motion and synthesize motion-blur to fill the temporal gaps between the input frames. Finally, we composite the blurred image with the sharp regular exposure to protect the sharpness of faces or areas of the scene that are barely moving, and produce a final high resolution and high dynamic range (HDR) photograph. Our system democratizes a capability previously reserved to professionals, and makes this creative style accessible to most casual photographers. More information and supplementary material can be found on our project webpage: https://motion-mode.github.io/