Вычислительная мобильная фотография с длинной выдержкой

Computational Long Exposure Mobile Photography

August 2, 2023

Авторы: Eric Tabellion, Nikhil Karnad, Noa Glaser, Ben Weiss, David E. Jacobs, Yael Pritch

cs.AI

Аннотация

Длинная выдержка в фотографии создает потрясающие изображения, представляя движущиеся элементы сцены с эффектом размытия в движении. Обычно она применяется в двух режимах, создавая либо эффект размытия переднего плана, либо фона. Изображения с размытием переднего плана традиционно снимаются на камеру, установленную на штатив, и изображают размытые движущиеся элементы переднего плана, такие как шелковистая вода или световые следы, на фоне идеально резкого пейзажа. Изображения с размытием фона, также известные как панорамная съемка, снимаются при движении камеры вслед за движущимся объектом, чтобы получить изображение резкого объекта на фоне, размытом из-за относительного движения. Обе техники известны своей сложностью и требуют дополнительного оборудования и продвинутых навыков. В данной статье мы описываем вычислительную систему для съемки серийных фотографий, которая работает в приложении для смартфона с ручной камерой и автоматически достигает этих эффектов при нажатии на кнопку спуска затвора. Наш подход сначала обнаруживает и сегментирует ключевой объект. Мы отслеживаем движение сцены по нескольким кадрам и выравниваем изображения, чтобы сохранить желаемую резкость и создать эстетически приятные следы движения. Мы снимаем недоэкспонированную серию и выбираем подмножество входных кадров, которые создадут размытые следы контролируемой длины, независимо от скорости движения сцены или камеры. Мы предсказываем межкадровое движение и синтезируем размытие в движении, чтобы заполнить временные промежутки между входными кадрами. Наконец, мы комбинируем размытое изображение с резким обычным экспонированием, чтобы сохранить резкость лиц или областей сцены, которые почти не двигаются, и создаем итоговое изображение с высоким разрешением и высоким динамическим диапазоном (HDR). Наша система демократизирует возможность, ранее доступную только профессионалам, и делает этот творческий стиль доступным для большинства любителей. Дополнительную информацию и материалы можно найти на странице нашего проекта: https://motion-mode.github.io/

English

Long exposure photography produces stunning imagery, representing moving elements in a scene with motion-blur. It is generally employed in two modalities, producing either a foreground or a background blur effect. Foreground blur images are traditionally captured on a tripod-mounted camera and portray blurred moving foreground elements, such as silky water or light trails, over a perfectly sharp background landscape. Background blur images, also called panning photography, are captured while the camera is tracking a moving subject, to produce an image of a sharp subject over a background blurred by relative motion. Both techniques are notoriously challenging and require additional equipment and advanced skills. In this paper, we describe a computational burst photography system that operates in a hand-held smartphone camera app, and achieves these effects fully automatically, at the tap of the shutter button. Our approach first detects and segments the salient subject. We track the scene motion over multiple frames and align the images in order to preserve desired sharpness and to produce aesthetically pleasing motion streaks. We capture an under-exposed burst and select the subset of input frames that will produce blur trails of controlled length, regardless of scene or camera motion velocity. We predict inter-frame motion and synthesize motion-blur to fill the temporal gaps between the input frames. Finally, we composite the blurred image with the sharp regular exposure to protect the sharpness of faces or areas of the scene that are barely moving, and produce a final high resolution and high dynamic range (HDR) photograph. Our system democratizes a capability previously reserved to professionals, and makes this creative style accessible to most casual photographers. More information and supplementary material can be found on our project webpage: https://motion-mode.github.io/