モジュラーニューラル画像信号処理

要旨

本論文は、RAW入力を処理し高品質な表示参照画像を出力するモジュール型ニューラル画像信号処理（ISP）フレームワークを提案する。従来のニューラルISP設計とは異なり、本手法は高度なモジュール性を導入し、画像レンダリングプロセスにおける複数の中間段階を完全に制御可能とする。このモジュール設計は、高精度なレンダリングを実現するだけでなく、スケーラビリティ、デバッグ容易性、未見カメラへの一般化、異なるユーザー嗜好スタイルへの適応性を向上させる。本設計の利点を実証するため、提案ニューラルISPを活用し多様な編集操作と写真スタイルをサポートする対話型写真編集ツールを構築した。このツールは、ニューラルISPの高品質レンダリングを最大限に活用し、制限のない再編集可能な再レンダリングを実現するよう精巧に設計されている。提案手法は完全学習ベースのフレームワークであり、パイプライン全体のパラメータ数が中規模（約0.5M～約3.9M）の異なる容量バリエーションを有する。複数のテストセットにおいて、一貫して競争力のある定性的・定量的結果を達成している。補足動画は以下で閲覧可能：https://youtu.be/ByhQjQSjxVM

English

This paper presents a modular neural image signal processing (ISP) framework that processes raw inputs and renders high-quality display-referred images. Unlike prior neural ISP designs, our method introduces a high degree of modularity, providing full control over multiple intermediate stages of the rendering process.~This modular design not only achieves high rendering accuracy but also improves scalability, debuggability, generalization to unseen cameras, and flexibility to match different user-preference styles. To demonstrate the advantages of this design, we built a user-interactive photo-editing tool that leverages our neural ISP to support diverse editing operations and picture styles. The tool is carefully engineered to take advantage of the high-quality rendering of our neural ISP and to enable unlimited post-editable re-rendering. Our method is a fully learning-based framework with variants of different capacities, all of moderate size (ranging from ~0.5 M to ~3.9 M parameters for the entire pipeline), and consistently delivers competitive qualitative and quantitative results across multiple test sets. Watch the supplemental video at: https://youtu.be/ByhQjQSjxVM

モジュラーニューラル画像信号処理

Modular Neural Image Signal Processing

要旨

Support