Procesamiento Neural Modular de Señales de Imagen

Resumen

Este artículo presenta un marco modular de procesamiento neuronal de señales de imagen (ISP) que procesa datos en bruto y genera imágenes de alta calidad referidas a pantalla. A diferencia de diseños neuronales ISP anteriores, nuestro método introduce un alto grado de modularidad, proporcionando control total sobre múltiples etapas intermedias del proceso de renderizado. Este diseño modular no solo logra una alta precisión de renderizado, sino que también mejora la escalabilidad, la capacidad de depuración, la generalización a cámaras no vistas y la flexibilidad para adaptarse a diferentes estilos de preferencia del usuario. Para demostrar las ventajas de este diseño, desarrollamos una herramienta de edición fotográfica interactiva que aprovecha nuestro ISP neuronal para soportar diversas operaciones de edición y estilos de imagen. La herramienta está cuidadosamente diseñada para aprovechar el renderizado de alta calidad de nuestro ISP neuronal y permitir rerrenderizados posteriores ilimitados y editables. Nuestro método es un marco completamente basado en aprendizaje con variantes de diferentes capacidades, todas de tamaño moderado (oscilando entre ~0.5 M y ~3.9 M de parámetros para toda la pipeline), y ofrece consistentemente resultados cualitativos y cuantitativos competitivos en múltiples conjuntos de prueba. Vea el video complementario en: https://youtu.be/ByhQjQSjxVM

English

This paper presents a modular neural image signal processing (ISP) framework that processes raw inputs and renders high-quality display-referred images. Unlike prior neural ISP designs, our method introduces a high degree of modularity, providing full control over multiple intermediate stages of the rendering process.~This modular design not only achieves high rendering accuracy but also improves scalability, debuggability, generalization to unseen cameras, and flexibility to match different user-preference styles. To demonstrate the advantages of this design, we built a user-interactive photo-editing tool that leverages our neural ISP to support diverse editing operations and picture styles. The tool is carefully engineered to take advantage of the high-quality rendering of our neural ISP and to enable unlimited post-editable re-rendering. Our method is a fully learning-based framework with variants of different capacities, all of moderate size (ranging from ~0.5 M to ~3.9 M parameters for the entire pipeline), and consistently delivers competitive qualitative and quantitative results across multiple test sets. Watch the supplemental video at: https://youtu.be/ByhQjQSjxVM

Procesamiento Neural Modular de Señales de Imagen

Modular Neural Image Signal Processing

Resumen

Support