Zoom Ibrido Efficiente tramite Fusione di Fotocamere su Smartphone

Abstract

Le fotocamere DSLR possono ottenere diversi livelli di zoom modificando le distanze delle lenti o sostituendo i tipi di obiettivo. Tuttavia, queste tecniche non sono applicabili sui dispositivi smartphone a causa dei vincoli di spazio. La maggior parte dei produttori di smartphone adotta un sistema di zoom ibrido: tipicamente una fotocamera Wide (W) per bassi livelli di zoom e una fotocamera Telephoto (T) per alti livelli di zoom. Per simulare i livelli di zoom intermedi tra W e T, questi sistemi ritagliano e aumentano digitalmente la risoluzione delle immagini da W, causando una significativa perdita di dettagli. In questo articolo, proponiamo un sistema efficiente per la super-risoluzione con zoom ibrido su dispositivi mobili, che acquisisce una coppia sincrona di scatti W e T e utilizza modelli di machine learning per allineare e trasferire i dettagli da T a W. Inoltre, sviluppiamo un metodo di fusione adattivo che tiene conto delle discrepanze nella profondità di campo, delle occlusioni nella scena, dell'incertezza del flusso e degli errori di allineamento. Per minimizzare il divario di dominio, progettiamo un sistema a doppia fotocamera per smartphone per acquisire input e ground-truth del mondo reale per l'addestramento supervisionato. Il nostro metodo genera un'immagine da 12 megapixel in 500ms su una piattaforma mobile e si confronta favorevolmente con i metodi più avanzati in un'ampia valutazione su scenari reali.

English

DSLR cameras can achieve multiple zoom levels via shifting lens distances or swapping lens types. However, these techniques are not possible on smartphone devices due to space constraints. Most smartphone manufacturers adopt a hybrid zoom system: commonly a Wide (W) camera at a low zoom level and a Telephoto (T) camera at a high zoom level. To simulate zoom levels between W and T, these systems crop and digitally upsample images from W, leading to significant detail loss. In this paper, we propose an efficient system for hybrid zoom super-resolution on mobile devices, which captures a synchronous pair of W and T shots and leverages machine learning models to align and transfer details from T to W. We further develop an adaptive blending method that accounts for depth-of-field mismatches, scene occlusion, flow uncertainty, and alignment errors. To minimize the domain gap, we design a dual-phone camera rig to capture real-world inputs and ground-truths for supervised training. Our method generates a 12-megapixel image in 500ms on a mobile platform and compares favorably against state-of-the-art methods under extensive evaluation on real-world scenarios.

Zoom Ibrido Efficiente tramite Fusione di Fotocamere su Smartphone

Efficient Hybrid Zoom using Camera Fusion on Mobile Phones

Abstract

Support