POS-ISP: Pipeline-Optimierung auf Sequenzebene für aufgabenbewusste ISP
POS-ISP: Pipeline Optimization at the Sequence Level for Task-aware ISP
April 8, 2026
Autoren: Jiyun Won, Heemin Yang, Woohyeok Kim, Jungseul Ok, Sunghyun Cho
cs.AI
Zusammenfassung
Aktuelle Arbeiten haben die Optimierung von Bildsignalverarbeitungs-Pipelines (ISP) für verschiedene Aufgaben untersucht, indem vordefinierte Module zusammengesetzt und an aufgabenspezifische Ziele angepasst wurden. Die gemeinsame Optimierung von Modulsequenzen und Parametern bleibt jedoch eine Herausforderung. Bestehende Ansätze stützen sich auf Neural Architecture Search (NAS) oder schrittweise bestärkendes Lernen (RL), wobei NAS unter einer Trainings-Inferenz-Diskrepanz leidet und schrittweises RL aufgrund stufenweiser Entscheidungsfindung zu instabilem Training und hohem Rechenaufwand führt. Wir schlagen POS-ISP vor, ein RL-Framework auf Sequenzebene, das die modulare ISP-Optimierung als globales Sequenzvorhersageproblem formuliert. Unsere Methode sagt die gesamte Modulsequenz und ihre Parameter in einem einzigen Vorwärtsdurchlauf vorher und optimiert die Pipeline unter Verwendung einer terminalen Aufgabenbelohnung, wodurch die Notwendigkeit von Zwischenüberwachung und redundanten Ausführungen entfällt. Experimente über mehrere nachgelagerte Aufgaben hinweg zeigen, dass POS-ISP die Aufgabenleistung verbessert und gleichzeitig die Rechenkosten senkt, was die Optimierung auf Sequenzebene als stabiles und effizientes Paradigma für aufgabenbewusste ISP hervorhebt. Die Projektseite ist verfügbar unter https://w1jyun.github.io/POS-ISP.
English
Recent work has explored optimizing image signal processing (ISP) pipelines for various tasks by composing predefined modules and adapting them to task-specific objectives. However, jointly optimizing module sequences and parameters remains challenging. Existing approaches rely on neural architecture search (NAS) or step-wise reinforcement learning (RL), but NAS suffers from a training-inference mismatch, while step-wise RL leads to unstable training and high computational overhead due to stage-wise decision-making. We propose POS-ISP, a sequence-level RL framework that formulates modular ISP optimization as a global sequence prediction problem. Our method predicts the entire module sequence and its parameters in a single forward pass and optimizes the pipeline using a terminal task reward, eliminating the need for intermediate supervision and redundant executions. Experiments across multiple downstream tasks show that POS-ISP improves task performance while reducing computational cost, highlighting sequence-level optimization as a stable and efficient paradigm for task-aware ISP. The project page is available at https://w1jyun.github.io/POS-ISP