Traitement Modulaire du Signal d'Image Neuronal

papers.abstract

Ce document présente un cadre modulaire de traitement neuronal du signal d'image (ISP) qui traite les données brutes et produit des images de haute qualité référencées pour l'affichage. Contrairement aux conceptions neuronales ISP antérieures, notre méthode introduit un degré élevé de modularité, offrant un contrôle total sur de multiples étapes intermédiaires du processus de rendu. Cette conception modulaire atteint non seulement une grande précision de rendu, mais améliore également l'évolutivité, la capacité de débogage, la généralisation à des caméras non vues et la flexibilité pour s'adapter à différents styles préférés par l'utilisateur. Pour démontrer les avantages de cette conception, nous avons développé un outil de retouche photo interactif qui exploite notre ISP neuronal pour prendre en charge diverses opérations d'édition et styles d'image. L'outil est soigneusement conçu pour tirer parti du rendu de haute qualité de notre ISP neuronal et permettre une re-rendu illimité après édition. Notre méthode est un cadre entièrement basé sur l'apprentissage avec des variantes de capacités différentes, toutes de taille modérée (allant d'environ 0,5 M à environ 3,9 M de paramètres pour l'ensemble du pipeline), et fournit constamment des résultats qualitatifs et quantitatifs compétitifs sur plusieurs ensembles de test. Regardez la vidéo supplémentaire à l'adresse : https://youtu.be/ByhQjQSjxVM

English

This paper presents a modular neural image signal processing (ISP) framework that processes raw inputs and renders high-quality display-referred images. Unlike prior neural ISP designs, our method introduces a high degree of modularity, providing full control over multiple intermediate stages of the rendering process.~This modular design not only achieves high rendering accuracy but also improves scalability, debuggability, generalization to unseen cameras, and flexibility to match different user-preference styles. To demonstrate the advantages of this design, we built a user-interactive photo-editing tool that leverages our neural ISP to support diverse editing operations and picture styles. The tool is carefully engineered to take advantage of the high-quality rendering of our neural ISP and to enable unlimited post-editable re-rendering. Our method is a fully learning-based framework with variants of different capacities, all of moderate size (ranging from ~0.5 M to ~3.9 M parameters for the entire pipeline), and consistently delivers competitive qualitative and quantitative results across multiple test sets. Watch the supplemental video at: https://youtu.be/ByhQjQSjxVM

Traitement Modulaire du Signal d'Image Neuronal

Modular Neural Image Signal Processing

papers.abstract

Support