Elaborazione Neurale Modulare del Segnale di Immagine

Abstract

Questo articolo presenta un framework modulare neurale per l'elaborazione del segnale d'immagine (ISP) che elabora input grezzi e restituisce immagini di alta qualità riferite al display. A differenza delle precedenti progettazioni neurali ISP, il nostro metodo introduce un elevato grado di modularità, fornendo il controllo completo su molteplici stadi intermedi del processo di rendering. Questo design modulare non solo raggiunge un'elevata accuratezza di rendering, ma migliora anche la scalabilità, la debugabilità, la generalizzazione a telecamere non viste e la flessibilità per adattarsi a diversi stili preferiti dall'utente. Per dimostrare i vantaggi di questa progettazione, abbiamo sviluppato uno strumento di fotoritocco interattivo che sfrutta il nostro ISP neurale per supportare diverse operazioni di editing e stili fotografici. Lo strumento è ingegnerizzato con cura per sfruttare i vantaggi del rendering di alta qualità del nostro ISP neurale e per abilitare una nuova resa illimitata e modificabile in post-produzione. Il nostro metodo è un framework completamente basato sull'apprendimento con varianti di diverse capacità, tutte di dimensioni moderate (che vanno da ~0,5 M a ~3,9 M di parametri per l'intera pipeline), e fornisce costantemente risultati qualitativi e quantitativi competitivi su molteplici set di test. Guarda il video supplementare all'indirizzo: https://youtu.be/ByhQjQSjxVM

English

This paper presents a modular neural image signal processing (ISP) framework that processes raw inputs and renders high-quality display-referred images. Unlike prior neural ISP designs, our method introduces a high degree of modularity, providing full control over multiple intermediate stages of the rendering process.~This modular design not only achieves high rendering accuracy but also improves scalability, debuggability, generalization to unseen cameras, and flexibility to match different user-preference styles. To demonstrate the advantages of this design, we built a user-interactive photo-editing tool that leverages our neural ISP to support diverse editing operations and picture styles. The tool is carefully engineered to take advantage of the high-quality rendering of our neural ISP and to enable unlimited post-editable re-rendering. Our method is a fully learning-based framework with variants of different capacities, all of moderate size (ranging from ~0.5 M to ~3.9 M parameters for the entire pipeline), and consistently delivers competitive qualitative and quantitative results across multiple test sets. Watch the supplemental video at: https://youtu.be/ByhQjQSjxVM

Elaborazione Neurale Modulare del Segnale di Immagine

Modular Neural Image Signal Processing

Abstract

Support