모듈식 신경 영상 신호 처리

초록

본 논문은 모듈식 신경망 이미지 신호 처리(ISP) 프레임워크를 제시하며, 이는 RAW 입력을 처리하여 고품질의 디스플레이 참조 이미지를 렌더링한다. 기존 신경망 ISP 설계와 달리, 우리의 방법은 높은 수준의 모듈성을 도입하여 렌더링 과정의 여러 중간 단계에 대한 완전한 제어를 제공한다. 이러한 모듈식 설계는 높은 렌더링 정확도를 달성할 뿐만 아니라 확장성, 디버깅 용이성, 보지 않은 카메라에 대한 일반화 능력, 그리고 다양한 사용자 선호 스타일을 맞출 수 있는 유연성을 향상시킨다. 이 설계의 장점을 입증하기 위해, 우리는 우리의 신경망 ISP를 활용하여 다양한 편집 작업과 사진 스타일을 지원하는 사용자 상호작용형 사진 편집 도구를 구축하였다. 이 도구는 우리 신경망 ISP의 고품질 렌더링을 활용하고 무제한의 사후 편집 가능한 재렌더링을 가능하게 하도록 세심하게 설계되었다. 우리의 방법은 다양한 용량의 변종을 가진 완전 학습 기반 프레임워크로, 전체 파이프라인 기준 보통 크기의 매개변수(~0.5M ~ ~3.9M)를 가지며, 여러 테스트 세트에서 일관되게 경쟁력 있는 정성적 및 정량적 결과를 제공한다. 보충 영상은 다음에서 확인할 수 있다: https://youtu.be/ByhQjQSjxVM

English

This paper presents a modular neural image signal processing (ISP) framework that processes raw inputs and renders high-quality display-referred images. Unlike prior neural ISP designs, our method introduces a high degree of modularity, providing full control over multiple intermediate stages of the rendering process.~This modular design not only achieves high rendering accuracy but also improves scalability, debuggability, generalization to unseen cameras, and flexibility to match different user-preference styles. To demonstrate the advantages of this design, we built a user-interactive photo-editing tool that leverages our neural ISP to support diverse editing operations and picture styles. The tool is carefully engineered to take advantage of the high-quality rendering of our neural ISP and to enable unlimited post-editable re-rendering. Our method is a fully learning-based framework with variants of different capacities, all of moderate size (ranging from ~0.5 M to ~3.9 M parameters for the entire pipeline), and consistently delivers competitive qualitative and quantitative results across multiple test sets. Watch the supplemental video at: https://youtu.be/ByhQjQSjxVM

모듈식 신경 영상 신호 처리

Modular Neural Image Signal Processing

초록

Support