POS-ISP: Pijplijnoptimalisatie op Sequentieniveau voor Taakbewuste Beeldverwerking
POS-ISP: Pipeline Optimization at the Sequence Level for Task-aware ISP
April 8, 2026
Auteurs: Jiyun Won, Heemin Yang, Woohyeok Kim, Jungseul Ok, Sunghyun Cho
cs.AI
Samenvatting
Recent onderzoek heeft zich gericht op het optimaliseren van beeldverwerkingspijplijnen (ISP) voor diverse taken door vooraf gedefinieerde modules samen te stellen en aan te passen aan taakspecifieke doelstellingen. Het gezamenlijk optimaliseren van modulesequenties en parameters blijft echter een uitdaging. Bestaande methoden steunen op neurale architectuurzoekalgoritmen (NAS) of stapsgewijze reinforcement learning (RL), maar NAS lijdt onder een kloof tussen training en inferentie, terwijl stapsgewijze RL leidt tot instabiele training en hoge rekenkosten door gefaseerde besluitvorming. Wij stellen POS-ISP voor, een sequentieel RL-raamwerk dat modulaire ISP-optimalisatie formuleert als een globaal sequentievoorspelingsprobleem. Onze methode voorspelt de volledige modulesequentie en bijbehorende parameters in één enkele voorwaartse doorloop en optimaliseert de pijplijn met een eindtaakbeloning, waardoor tussenliggend toezicht en redundante uitvoeringen overbodig worden. Experimenten met meerdere downstreamtaken tonen aan dat POS-ISP de taakprestatie verbetert en tegelijkertijd de rekenkosten verlaagt, wat sequentieel optimaliseren benadrukt als een stabiel en efficiënt paradigma voor taakbewuste beeldverwerking. De projectpagina is beschikbaar op https://w1jyun.github.io/POS-ISP.
English
Recent work has explored optimizing image signal processing (ISP) pipelines for various tasks by composing predefined modules and adapting them to task-specific objectives. However, jointly optimizing module sequences and parameters remains challenging. Existing approaches rely on neural architecture search (NAS) or step-wise reinforcement learning (RL), but NAS suffers from a training-inference mismatch, while step-wise RL leads to unstable training and high computational overhead due to stage-wise decision-making. We propose POS-ISP, a sequence-level RL framework that formulates modular ISP optimization as a global sequence prediction problem. Our method predicts the entire module sequence and its parameters in a single forward pass and optimizes the pipeline using a terminal task reward, eliminating the need for intermediate supervision and redundant executions. Experiments across multiple downstream tasks show that POS-ISP improves task performance while reducing computational cost, highlighting sequence-level optimization as a stable and efficient paradigm for task-aware ISP. The project page is available at https://w1jyun.github.io/POS-ISP