Modulaire Neurale Beeldverwerking

Samenvatting

Dit artikel presenteert een modulair neuraal raamwerk voor beeldsignaalverwerking (ISP) dat ruwe invoer verwerkt en hoogwaardige, voor weergave geoptimaliseerde beelden produceert. In tegenstelling tot eerdere neurale ISP-ontwerpen introduceert onze methode een hoge mate van modulariteit, wat volledige controle biedt over meerdere tussenstadia van het renderproces.~Dit modulaire ontwerp bereikt niet alleen een hoge renderprecisie, maar verbetert ook de schaalbaarheid, debugbaarheid, generalisatie naar niet-getrainde camera's en flexibiliteit om verschillende gebruikersvoorkeurstijlen aan te passen. Om de voordelen van dit ontwerp aan te tonen, ontwikkelden we een gebruikersinteractieve foto-bewerkingsapplicatie die gebruikmaakt van onze neurale ISP om diverse bewerkingen en beeldstijlen te ondersteunen. De tool is zorgvuldig ontworpen om te profiteren van de hoogwaardige rendering van onze neurale ISP en om onbeperkt naderhand bewerkbaar opnieuw renderen mogelijk te maken. Onze methode is een volledig op leren gebaseerd raamwerk met varianten van verschillende capaciteiten, allemaal van bescheiden omvang (variërend van ~0,5 M tot ~3,9 M parameters voor de volledige pijplijn), en levert consistente kwalitatieve en kwantitatieve resultaten op meerdere testdatasets. Bekijk de aanvullende video op: https://youtu.be/ByhQjQSjxVM

English

This paper presents a modular neural image signal processing (ISP) framework that processes raw inputs and renders high-quality display-referred images. Unlike prior neural ISP designs, our method introduces a high degree of modularity, providing full control over multiple intermediate stages of the rendering process.~This modular design not only achieves high rendering accuracy but also improves scalability, debuggability, generalization to unseen cameras, and flexibility to match different user-preference styles. To demonstrate the advantages of this design, we built a user-interactive photo-editing tool that leverages our neural ISP to support diverse editing operations and picture styles. The tool is carefully engineered to take advantage of the high-quality rendering of our neural ISP and to enable unlimited post-editable re-rendering. Our method is a fully learning-based framework with variants of different capacities, all of moderate size (ranging from ~0.5 M to ~3.9 M parameters for the entire pipeline), and consistently delivers competitive qualitative and quantitative results across multiple test sets. Watch the supplemental video at: https://youtu.be/ByhQjQSjxVM

Modulaire Neurale Beeldverwerking

Modular Neural Image Signal Processing

Samenvatting

Support