Обученный облегченный смартфонный ISP с использованием несопоставленных данных

Learned Lightweight Smartphone ISP with Unpaired Data

May 15, 2025

Авторы: Andrei Arhire, Radu Timofte

cs.AI

Аннотация

Процессор обработки изображений (ISP) является ключевым компонентом современных камер смартфонов, отвечающим за преобразование RAW-данных сенсора в RGB-изображения с акцентом на воспринимаемое качество. Последние исследования подчеркивают потенциал подходов на основе глубокого обучения и их способность воспроизводить детали с качеством, все более приближающимся к профессиональным камерам. Сложным и затратным этапом при разработке обучаемого ISP является получение попиксельно выровненных пар данных, которые связывают RAW-изображения, захваченные сенсором камеры смартфона, с высококачественными эталонными изображениями. В данной работе мы решаем эту задачу, предлагая новый метод обучения для обучаемого ISP, который устраняет необходимость в прямом соответствии между RAW-изображениями и эталонными данными с совпадающим содержанием. Наш подход без пар использует многокомпонентную функцию потерь, управляемую состязательным обучением с несколькими дискриминаторами, обрабатывающими карты признаков из предварительно обученных сетей, чтобы сохранить структуру содержимого, одновременно изучая цветовые и текстурные характеристики из целевого набора RGB-данных. Используя легковесные архитектуры нейронных сетей, подходящие для мобильных устройств, в качестве основы, мы оценили наш метод на наборах данных Zurich RAW to RGB и Fujifilm UltraISP. По сравнению с методами обучения с парами, наша стратегия обучения без пар демонстрирует значительный потенциал и достигает высокой точности по множеству метрик оценки. Код и предварительно обученные модели доступны по адресу https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data.

English

The Image Signal Processor (ISP) is a fundamental component in modern smartphone cameras responsible for conversion of RAW sensor image data to RGB images with a strong focus on perceptual quality. Recent work highlights the potential of deep learning approaches and their ability to capture details with a quality increasingly close to that of professional cameras. A difficult and costly step when developing a learned ISP is the acquisition of pixel-wise aligned paired data that maps the raw captured by a smartphone camera sensor to high-quality reference images. In this work, we address this challenge by proposing a novel training method for a learnable ISP that eliminates the need for direct correspondences between raw images and ground-truth data with matching content. Our unpaired approach employs a multi-term loss function guided by adversarial training with multiple discriminators processing feature maps from pre-trained networks to maintain content structure while learning color and texture characteristics from the target RGB dataset. Using lightweight neural network architectures suitable for mobile devices as backbones, we evaluated our method on the Zurich RAW to RGB and Fujifilm UltraISP datasets. Compared to paired training methods, our unpaired learning strategy shows strong potential and achieves high fidelity across multiple evaluation metrics. The code and pre-trained models are available at https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data .