計算機による長時間露光モバイルフォトグラフィ

Computational Long Exposure Mobile Photography

August 2, 2023

著者: Eric Tabellion, Nikhil Karnad, Noa Glaser, Ben Weiss, David E. Jacobs, Yael Pritch

cs.AI

要旨

長時間露光写真は、シーン内の動く要素をモーションブラーで表現し、見事な映像を生み出します。一般的に、前景または背景のぼかし効果を生み出す2つのモードで使用されます。前景ぼかし画像は、三脚に固定したカメラで撮影され、シルクのような水や光の軌跡など、動く前景要素を完璧にシャープな背景の風景の上にぼかして表現します。背景ぼかし画像（パンニング写真とも呼ばれる）は、カメラが動く被写体を追跡しながら撮影され、相対的な動きによってぼかされた背景の上にシャープな被写体を写し出します。どちらのテクニックも非常に難易度が高く、追加の機材と高度なスキルを必要とします。本論文では、手持ちのスマートフォンカメラアプリで動作し、シャッターボタンを押すだけでこれらの効果を完全に自動で実現する計算バースト写真システムを紹介します。私たちのアプローチでは、まず注目すべき被写体を検出し、セグメント化します。複数のフレームにわたってシーンの動きを追跡し、画像を整列させて、望ましいシャープさを保ち、美しいモーションストリークを生成します。露出不足のバーストを撮影し、シーンやカメラの動きの速度に関係なく、制御された長さのブラートレイルを生成する入力フレームのサブセットを選択します。フレーム間の動きを予測し、モーションブラーを合成して入力フレーム間の時間的なギャップを埋めます。最後に、ぼかした画像とシャープな通常露出を合成し、ほとんど動いていない顔やシーンの領域のシャープさを保護し、高解像度で高ダイナミックレンジ（HDR）の最終写真を生成します。私たちのシステムは、これまでプロに限定されていた能力を一般化し、このクリエイティブなスタイルをほとんどのカジュアルフォトグラファーにアクセス可能にします。 詳細情報と補足資料は、プロジェクトのウェブページでご覧いただけます: https://motion-mode.github.io/

English

Long exposure photography produces stunning imagery, representing moving elements in a scene with motion-blur. It is generally employed in two modalities, producing either a foreground or a background blur effect. Foreground blur images are traditionally captured on a tripod-mounted camera and portray blurred moving foreground elements, such as silky water or light trails, over a perfectly sharp background landscape. Background blur images, also called panning photography, are captured while the camera is tracking a moving subject, to produce an image of a sharp subject over a background blurred by relative motion. Both techniques are notoriously challenging and require additional equipment and advanced skills. In this paper, we describe a computational burst photography system that operates in a hand-held smartphone camera app, and achieves these effects fully automatically, at the tap of the shutter button. Our approach first detects and segments the salient subject. We track the scene motion over multiple frames and align the images in order to preserve desired sharpness and to produce aesthetically pleasing motion streaks. We capture an under-exposed burst and select the subset of input frames that will produce blur trails of controlled length, regardless of scene or camera motion velocity. We predict inter-frame motion and synthesize motion-blur to fill the temporal gaps between the input frames. Finally, we composite the blurred image with the sharp regular exposure to protect the sharpness of faces or areas of the scene that are barely moving, and produce a final high resolution and high dynamic range (HDR) photograph. Our system democratizes a capability previously reserved to professionals, and makes this creative style accessible to most casual photographers. More information and supplementary material can be found on our project webpage: https://motion-mode.github.io/