Модульная нейронная обработка изображений сигналов
Modular Neural Image Signal Processing
December 9, 2025
Авторы: Mahmoud Afifi, Zhongling Wang, Ran Zhang, Michael S. Brown
cs.AI
Аннотация
В данной статье представлена модульная нейросетевая система обработки изображений (ISP), которая обрабатывает исходные RAW-данные и формирует высококачественные изображения, готовые к отображению. В отличие от предыдущих нейросетевых ISP-решений, наш метод обеспечивает высокую степень модульности, предоставляя полный контроль над множеством промежуточных этапов процесса формирования изображения. Такая модульная архитектура не только достигает высокой точности рендеринга, но также улучшает масштабируемость, удобство отладки, способность к обобщению для незнакомых камер и гибкость настройки под различные стили, соответствующие пользовательским предпочтениям. Для демонстрации преимуществ данного подхода мы разработали интерактивный инструмент фоторедактирования, использующий нашу нейросетевую ISP-систему для поддержки разнообразных операций редактирования и фотографических стилей. Инструмент тщательно спроектирован для максимального использования преимуществ высококачественного рендеринга нашей нейросетевой ISP-системы и обеспечения неограниченной возможности повторного редактирования. Наш метод представляет собой полностью обучаемую архитектуру с вариантами различной производительности, все умеренного размера (от ~0,5 млн до ~3,9 млн параметров для всего конвейера), и стабильно демонстрирует конкурентоспособные качественные и количественные результаты на множестве тестовых наборов. Смотрите дополнительное видео по ссылке: https://youtu.be/ByhQjQSjxVM
English
This paper presents a modular neural image signal processing (ISP) framework that processes raw inputs and renders high-quality display-referred images. Unlike prior neural ISP designs, our method introduces a high degree of modularity, providing full control over multiple intermediate stages of the rendering process.~This modular design not only achieves high rendering accuracy but also improves scalability, debuggability, generalization to unseen cameras, and flexibility to match different user-preference styles. To demonstrate the advantages of this design, we built a user-interactive photo-editing tool that leverages our neural ISP to support diverse editing operations and picture styles. The tool is carefully engineered to take advantage of the high-quality rendering of our neural ISP and to enable unlimited post-editable re-rendering. Our method is a fully learning-based framework with variants of different capacities, all of moderate size (ranging from ~0.5 M to ~3.9 M parameters for the entire pipeline), and consistently delivers competitive qualitative and quantitative results across multiple test sets. Watch the supplemental video at: https://youtu.be/ByhQjQSjxVM