Processamento Neural Modular de Sinais de Imagem
Modular Neural Image Signal Processing
December 9, 2025
Autores: Mahmoud Afifi, Zhongling Wang, Ran Zhang, Michael S. Brown
cs.AI
Resumo
Este artigo apresenta uma estrutura modular de processamento neural de sinais de imagem (ISP) que processa dados brutos e produz imagens de alta qualidade referenciadas para exibição. Diferentemente de projetos neurais de ISP anteriores, nosso método introduz um alto grau de modularidade, fornecendo controle completo sobre múltiplos estágios intermediários do processo de renderização.~Este design modular não apenas alcança alta precisão de renderização, mas também melhora a escalabilidade, a capacidade de depuração, a generalização para câmeras não vistas e a flexibilidade para adaptar-se a diferentes estilos de preferência do usuário. Para demonstrar as vantagens deste design, desenvolvemos uma ferramenta interativa de edição fotográfica que aproveita nosso ISP neural para suportar diversas operações de edição e estilos de imagem. A ferramenta foi cuidadosamente projetada para aproveitar a renderização de alta qualidade do nosso ISP neural e permitir rerrenderizações pós-editáveis ilimitadas. Nosso método é uma estrutura totalmente baseada em aprendizado com variantes de diferentes capacidades, todas de tamanho moderado (variando de ~0,5 M a ~3,9 M de parâmetros para todo o pipeline), e produz consistentemente resultados qualitativos e quantitativos competitivos em múltiplos conjuntos de teste. Assista ao vídeo suplementar em: https://youtu.be/ByhQjQSjxVM
English
This paper presents a modular neural image signal processing (ISP) framework that processes raw inputs and renders high-quality display-referred images. Unlike prior neural ISP designs, our method introduces a high degree of modularity, providing full control over multiple intermediate stages of the rendering process.~This modular design not only achieves high rendering accuracy but also improves scalability, debuggability, generalization to unseen cameras, and flexibility to match different user-preference styles. To demonstrate the advantages of this design, we built a user-interactive photo-editing tool that leverages our neural ISP to support diverse editing operations and picture styles. The tool is carefully engineered to take advantage of the high-quality rendering of our neural ISP and to enable unlimited post-editable re-rendering. Our method is a fully learning-based framework with variants of different capacities, all of moderate size (ranging from ~0.5 M to ~3.9 M parameters for the entire pipeline), and consistently delivers competitive qualitative and quantitative results across multiple test sets. Watch the supplemental video at: https://youtu.be/ByhQjQSjxVM