비대응 데이터를 활용한 경량 스마트폰 ISP 학습

Learned Lightweight Smartphone ISP with Unpaired Data

May 15, 2025

저자: Andrei Arhire, Radu Timofte

cs.AI

초록

이미지 신호 처리기(ISP)는 현대 스마트폰 카메라에서 RAW 센서 이미지 데이터를 RGB 이미지로 변환하는 핵심 구성 요소로, 지각적 품질에 중점을 둡니다. 최근 연구는 딥러닝 접근법의 잠재력과 전문가용 카메라에 점점 가까워지는 디테일 캡처 능력을 강조하고 있습니다. 학습 가능한 ISP를 개발할 때 어렵고 비용이 많이 드는 단계는 스마트폰 카메라 센서가 캡처한 RAW 이미지를 고품질 참조 이미지에 매핑하는 픽셀 단위 정렬된 짝지어진 데이터를 획득하는 것입니다. 본 연구에서는 RAW 이미지와 내용이 일치하는 실측 데이터 간의 직접적인 대응 관계 없이도 학습 가능한 ISP를 훈련할 수 있는 새로운 방법을 제안하여 이 문제를 해결합니다. 우리의 비짝지어진 접근법은 사전 훈련된 네트워크의 특징 맵을 처리하는 다중 판별자를 사용한 적대적 학습으로 안내되는 다중 항목 손실 함수를 활용하여, 대상 RGB 데이터셋에서 색상 및 질감 특성을 학습하면서도 내용 구조를 유지합니다. 모바일 기기에 적합한 경량 신경망 아키텍처를 백본으로 사용하여, 우리는 이 방법을 Zurich RAW to RGB 및 Fujifilm UltraISP 데이터셋에서 평가했습니다. 짝지어진 훈련 방법과 비교했을 때, 우리의 비짝지어진 학습 전략은 강력한 잠재력을 보여주며 여러 평가 지표에서 높은 충실도를 달성했습니다. 코드와 사전 훈련된 모델은 https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data에서 확인할 수 있습니다.

English

The Image Signal Processor (ISP) is a fundamental component in modern smartphone cameras responsible for conversion of RAW sensor image data to RGB images with a strong focus on perceptual quality. Recent work highlights the potential of deep learning approaches and their ability to capture details with a quality increasingly close to that of professional cameras. A difficult and costly step when developing a learned ISP is the acquisition of pixel-wise aligned paired data that maps the raw captured by a smartphone camera sensor to high-quality reference images. In this work, we address this challenge by proposing a novel training method for a learnable ISP that eliminates the need for direct correspondences between raw images and ground-truth data with matching content. Our unpaired approach employs a multi-term loss function guided by adversarial training with multiple discriminators processing feature maps from pre-trained networks to maintain content structure while learning color and texture characteristics from the target RGB dataset. Using lightweight neural network architectures suitable for mobile devices as backbones, we evaluated our method on the Zurich RAW to RGB and Fujifilm UltraISP datasets. Compared to paired training methods, our unpaired learning strategy shows strong potential and achieves high fidelity across multiple evaluation metrics. The code and pre-trained models are available at https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data .