ISP Léger Appris pour Smartphone avec Données Non Appariées

Learned Lightweight Smartphone ISP with Unpaired Data

May 15, 2025

Auteurs: Andrei Arhire, Radu Timofte

cs.AI

Résumé

Le processeur de signal d'image (ISP) est un composant fondamental des appareils photo des smartphones modernes, responsable de la conversion des données d'image RAW du capteur en images RGB avec un accent marqué sur la qualité perceptuelle. Des travaux récents mettent en lumière le potentiel des approches d'apprentissage profond et leur capacité à capturer des détails avec une qualité de plus en plus proche de celle des appareils photo professionnels. Une étape difficile et coûteuse lors du développement d'un ISP appris est l'acquisition de données appariées alignées au niveau des pixels, qui établissent une correspondance entre les images brutes capturées par un capteur d'appareil photo de smartphone et des images de référence de haute qualité. Dans ce travail, nous relevons ce défi en proposant une nouvelle méthode d'entraînement pour un ISP apprenable, éliminant le besoin de correspondances directes entre les images brutes et les données de référence avec un contenu correspondant. Notre approche non appariée utilise une fonction de perte multi-termes guidée par un entraînement adversarial avec plusieurs discriminateurs traitant des cartes de caractéristiques issues de réseaux pré-entraînés, afin de préserver la structure du contenu tout en apprenant les caractéristiques de couleur et de texture à partir du jeu de données RGB cible. En utilisant des architectures de réseaux de neurones légères adaptées aux appareils mobiles comme backbones, nous avons évalué notre méthode sur les jeux de données Zurich RAW to RGB et Fujifilm UltraISP. Par rapport aux méthodes d'entraînement appariées, notre stratégie d'apprentissage non appariée montre un fort potentiel et atteint une haute fidélité selon plusieurs métriques d'évaluation. Le code et les modèles pré-entraînés sont disponibles à l'adresse suivante : https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data.

English

The Image Signal Processor (ISP) is a fundamental component in modern smartphone cameras responsible for conversion of RAW sensor image data to RGB images with a strong focus on perceptual quality. Recent work highlights the potential of deep learning approaches and their ability to capture details with a quality increasingly close to that of professional cameras. A difficult and costly step when developing a learned ISP is the acquisition of pixel-wise aligned paired data that maps the raw captured by a smartphone camera sensor to high-quality reference images. In this work, we address this challenge by proposing a novel training method for a learnable ISP that eliminates the need for direct correspondences between raw images and ground-truth data with matching content. Our unpaired approach employs a multi-term loss function guided by adversarial training with multiple discriminators processing feature maps from pre-trained networks to maintain content structure while learning color and texture characteristics from the target RGB dataset. Using lightweight neural network architectures suitable for mobile devices as backbones, we evaluated our method on the Zurich RAW to RGB and Fujifilm UltraISP datasets. Compared to paired training methods, our unpaired learning strategy shows strong potential and achieves high fidelity across multiple evaluation metrics. The code and pre-trained models are available at https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data .