非ペアデータを用いた軽量スマートフォンISPの学習

Learned Lightweight Smartphone ISP with Unpaired Data

May 15, 2025

著者: Andrei Arhire, Radu Timofte

cs.AI

要旨

イメージシグナルプロセッサ（ISP）は、現代のスマートフォンカメラにおいて、RAWセンサー画像データをRGB画像に変換する基本的なコンポーネントであり、知覚品質に重点を置いています。最近の研究では、ディープラーニングアプローチの可能性と、プロフェッショナルカメラに近い品質で詳細を捉える能力が注目されています。学習型ISPを開発する際の困難でコストのかかるステップは、スマートフォンカメラセンサーで撮影されたRAWデータを高品質な参照画像にマッピングするピクセル単位で整列したペアデータの取得です。本研究では、この課題に対処するため、RAW画像と対応する内容のグラウンドトゥルースデータ間の直接的な対応関係を必要としない、学習可能なISPの新しいトレーニング方法を提案します。私たちの非ペアアプローチは、事前学習済みネットワークからの特徴マップを処理する複数のディスクリミネータを用いた敵対的トレーニングに導かれた多項損失関数を採用し、ターゲットRGBデータセットから色とテクスチャ特性を学習しながらコンテンツ構造を維持します。モバイルデバイスに適した軽量なニューラルネットワークアーキテクチャをバックボーンとして使用し、Zurich RAW to RGBおよびFujifilm UltraISPデータセットで私たちの方法を評価しました。ペアトレーニング方法と比較して、私たちの非ペア学習戦略は強い可能性を示し、複数の評価指標で高い忠実度を達成しました。コードと事前学習済みモデルはhttps://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Dataで利用可能です。

English

The Image Signal Processor (ISP) is a fundamental component in modern smartphone cameras responsible for conversion of RAW sensor image data to RGB images with a strong focus on perceptual quality. Recent work highlights the potential of deep learning approaches and their ability to capture details with a quality increasingly close to that of professional cameras. A difficult and costly step when developing a learned ISP is the acquisition of pixel-wise aligned paired data that maps the raw captured by a smartphone camera sensor to high-quality reference images. In this work, we address this challenge by proposing a novel training method for a learnable ISP that eliminates the need for direct correspondences between raw images and ground-truth data with matching content. Our unpaired approach employs a multi-term loss function guided by adversarial training with multiple discriminators processing feature maps from pre-trained networks to maintain content structure while learning color and texture characteristics from the target RGB dataset. Using lightweight neural network architectures suitable for mobile devices as backbones, we evaluated our method on the Zurich RAW to RGB and Fujifilm UltraISP datasets. Compared to paired training methods, our unpaired learning strategy shows strong potential and achieves high fidelity across multiple evaluation metrics. The code and pre-trained models are available at https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data .