ISP Smartphone Leggero Appreso con Dati Non Accoppiati

Learned Lightweight Smartphone ISP with Unpaired Data

May 15, 2025

Autori: Andrei Arhire, Radu Timofte

cs.AI

Abstract

L'Image Signal Processor (ISP) è un componente fondamentale delle fotocamere degli smartphone moderni, responsabile della conversione dei dati RAW del sensore in immagini RGB con un forte focus sulla qualità percettiva. Recenti lavori evidenziano il potenziale degli approcci di deep learning e la loro capacità di catturare dettagli con una qualità sempre più vicina a quella delle fotocamere professionali. Un passaggio complesso e costoso nello sviluppo di un ISP basato su apprendimento è l'acquisizione di dati accoppiati allineati a livello di pixel che mappano il raw catturato da un sensore di fotocamera di uno smartphone a immagini di riferimento di alta qualità. In questo lavoro, affrontiamo questa sfida proponendo un nuovo metodo di addestramento per un ISP apprendibile che elimina la necessità di corrispondenze dirette tra immagini raw e dati di ground truth con contenuto corrispondente. Il nostro approccio non accoppiato utilizza una funzione di perdita multi-termine guidata da un addestramento adversarial con più discriminatori che elaborano mappe di caratteristiche da reti pre-addestrate per mantenere la struttura del contenuto mentre apprendono le caratteristiche di colore e texture dal dataset RGB target. Utilizzando architetture di reti neurali leggere adatte ai dispositivi mobili come backbone, abbiamo valutato il nostro metodo sui dataset Zurich RAW to RGB e Fujifilm UltraISP. Rispetto ai metodi di addestramento accoppiati, la nostra strategia di apprendimento non accoppiato mostra un forte potenziale e raggiunge un'elevata fedeltà su molteplici metriche di valutazione. Il codice e i modelli pre-addestrati sono disponibili all'indirizzo https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data.

English

The Image Signal Processor (ISP) is a fundamental component in modern smartphone cameras responsible for conversion of RAW sensor image data to RGB images with a strong focus on perceptual quality. Recent work highlights the potential of deep learning approaches and their ability to capture details with a quality increasingly close to that of professional cameras. A difficult and costly step when developing a learned ISP is the acquisition of pixel-wise aligned paired data that maps the raw captured by a smartphone camera sensor to high-quality reference images. In this work, we address this challenge by proposing a novel training method for a learnable ISP that eliminates the need for direct correspondences between raw images and ground-truth data with matching content. Our unpaired approach employs a multi-term loss function guided by adversarial training with multiple discriminators processing feature maps from pre-trained networks to maintain content structure while learning color and texture characteristics from the target RGB dataset. Using lightweight neural network architectures suitable for mobile devices as backbones, we evaluated our method on the Zurich RAW to RGB and Fujifilm UltraISP datasets. Compared to paired training methods, our unpaired learning strategy shows strong potential and achieves high fidelity across multiple evaluation metrics. The code and pre-trained models are available at https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data .