Geleerde lichtgewicht smartphone ISP met ongepaarde gegevens

Learned Lightweight Smartphone ISP with Unpaired Data

May 15, 2025

Auteurs: Andrei Arhire, Radu Timofte

cs.AI

Samenvatting

De Image Signal Processor (ISP) is een fundamenteel onderdeel in moderne smartphonecamera's en is verantwoordelijk voor de omzetting van RAW-sensorbeeldgegevens naar RGB-beelden, met een sterke focus op perceptuele kwaliteit. Recent onderzoek benadrukt het potentieel van deep learning-benaderingen en hun vermogen om details vast te leggen met een kwaliteit die steeds dichter in de buurt komt van die van professionele camera's. Een moeilijke en kostbare stap bij het ontwikkelen van een geleerde ISP is het verkrijgen van pixelgewijs uitgelijnde gepaarde gegevens die de raw-beelden vastgelegd door een smartphonecamerasensor koppelen aan hoogwaardige referentiebeelden. In dit werk pakken we deze uitdaging aan door een nieuwe trainingsmethode voor een leerbare ISP voor te stellen die de noodzaak van directe correspondentie tussen raw-beelden en grondwaarheidsgegevens met overeenkomende inhoud elimineert. Onze ongepaarde aanpak maakt gebruik van een multi-term verliesfunctie die wordt geleid door adversarial training met meerdere discriminatoren die feature maps verwerken van vooraf getrainde netwerken om de inhoudsstructuur te behouden terwijl kleur- en textuurkenmerken worden geleerd uit de doel-RGB-dataset. Met lichtgewicht neurale netwerkarchitecturen die geschikt zijn voor mobiele apparaten als backbone, hebben we onze methode geëvalueerd op de Zurich RAW to RGB- en Fujifilm UltraISP-datasets. In vergelijking met gepaarde trainingsmethoden toont onze ongepaarde leerstrategie sterk potentieel en behaalt het een hoge betrouwbaarheid over meerdere evaluatiemetrics. De code en vooraf getrainde modellen zijn beschikbaar op https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data.

English

The Image Signal Processor (ISP) is a fundamental component in modern smartphone cameras responsible for conversion of RAW sensor image data to RGB images with a strong focus on perceptual quality. Recent work highlights the potential of deep learning approaches and their ability to capture details with a quality increasingly close to that of professional cameras. A difficult and costly step when developing a learned ISP is the acquisition of pixel-wise aligned paired data that maps the raw captured by a smartphone camera sensor to high-quality reference images. In this work, we address this challenge by proposing a novel training method for a learnable ISP that eliminates the need for direct correspondences between raw images and ground-truth data with matching content. Our unpaired approach employs a multi-term loss function guided by adversarial training with multiple discriminators processing feature maps from pre-trained networks to maintain content structure while learning color and texture characteristics from the target RGB dataset. Using lightweight neural network architectures suitable for mobile devices as backbones, we evaluated our method on the Zurich RAW to RGB and Fujifilm UltraISP datasets. Compared to paired training methods, our unpaired learning strategy shows strong potential and achieves high fidelity across multiple evaluation metrics. The code and pre-trained models are available at https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data .