Modulare neuronale Bildsignalverarbeitung

papers.abstract

Dieses Papier stellt ein modulares neuronales Framework zur Bildsignalverarbeitung (ISP) vor, das Rohdaten verarbeitet und hochwertige, darstellungsbezogene Bilder erzeugt. Im Gegensatz zu früheren neuronalen ISP-Ansätzen zeichnet sich unsere Methode durch einen hohen Modularitätsgrad aus, der eine vollständige Kontrolle über mehrere Zwischenstufen des Renderprozesses ermöglicht.~Dieses modulare Design erreicht nicht nur eine hohe Rendergenauigkeit, sondern verbessert auch die Skalierbarkeit, Debugging-Fähigkeit, Generalisierung auf nicht trainierte Kameras sowie die Flexibilität, um verschiedene benutzerpräferierte Stile abzubilden. Um die Vorteile dieses Designs zu demonstrieren, haben wir ein benutzerinteraktives Foto-Bearbeitungstool entwickelt, das unseren neuronalen ISP nutzt, um diverse Bearbeitungsoperationen und Bildstile zu unterstützen. Das Tool ist so konzipiert, dass es die hochwertige Darstellung unseres neuronalen ISPs optimal nutzt und eine unbegrenzt nachträglich editierbare Neubearbeitung ermöglicht. Unsere Methode ist ein vollständig lernbasiertes Framework mit Varianten unterschiedlicher Kapazitäten, alle in moderater Größe (die gesamte Pipeline umfasst ~0,5 M bis ~3,9 M Parameter), und liefert durchweg wettbewerbsfähige qualitative und quantitative Ergebnisse über mehrere Testdatensätze hinweg. Siehe das ergänzende Video unter: https://youtu.be/ByhQjQSjxVM

English

This paper presents a modular neural image signal processing (ISP) framework that processes raw inputs and renders high-quality display-referred images. Unlike prior neural ISP designs, our method introduces a high degree of modularity, providing full control over multiple intermediate stages of the rendering process.~This modular design not only achieves high rendering accuracy but also improves scalability, debuggability, generalization to unseen cameras, and flexibility to match different user-preference styles. To demonstrate the advantages of this design, we built a user-interactive photo-editing tool that leverages our neural ISP to support diverse editing operations and picture styles. The tool is carefully engineered to take advantage of the high-quality rendering of our neural ISP and to enable unlimited post-editable re-rendering. Our method is a fully learning-based framework with variants of different capacities, all of moderate size (ranging from ~0.5 M to ~3.9 M parameters for the entire pipeline), and consistently delivers competitive qualitative and quantitative results across multiple test sets. Watch the supplemental video at: https://youtu.be/ByhQjQSjxVM

Modulare neuronale Bildsignalverarbeitung

Modular Neural Image Signal Processing

papers.abstract

Support