POS-ISP: Optimización de Tuberías a Nivel de Secuencia para ISP Consciente de la Tarea
POS-ISP: Pipeline Optimization at the Sequence Level for Task-aware ISP
April 8, 2026
Autores: Jiyun Won, Heemin Yang, Woohyeok Kim, Jungseul Ok, Sunghyun Cho
cs.AI
Resumen
Trabajos recientes han explorado la optimización de pipelines de procesamiento de señales de imagen (ISP) para diversas tareas mediante la composición de módulos predefinidos y su adaptación a objetivos específicos. Sin embargo, la optimización conjunta de secuencias de módulos y parámetros sigue siendo un desafío. Los enfoques existentes se basan en búsqueda de arquitectura neuronal (NAS) o aprendizaje por refuerzo (RL) paso a paso, pero NAS sufre de un desajuste entre entrenamiento e inferencia, mientras que el RL paso a paso conduce a un entrenamiento inestable y una alta sobrecarga computacional debido a la toma de decisiones por etapas. Proponemos POS-ISP, un marco de RL a nivel de secuencia que formula la optimización modular de ISP como un problema global de predicción de secuencias. Nuestro método predice la secuencia completa de módulos y sus parámetros en una sola pasada hacia adelante y optimiza el pipeline utilizando una recompensa de tarea terminal, eliminando la necesidad de supervisión intermedia y ejecuciones redundantes. Los experimentos en múltiples tareas posteriores muestran que POS-ISP mejora el rendimiento de la tarea mientras reduce el coste computacional, destacando la optimización a nivel de secuencia como un paradigma estable y eficiente para ISP consciente de la tarea. La página del proyecto está disponible en https://w1jyun.github.io/POS-ISP.
English
Recent work has explored optimizing image signal processing (ISP) pipelines for various tasks by composing predefined modules and adapting them to task-specific objectives. However, jointly optimizing module sequences and parameters remains challenging. Existing approaches rely on neural architecture search (NAS) or step-wise reinforcement learning (RL), but NAS suffers from a training-inference mismatch, while step-wise RL leads to unstable training and high computational overhead due to stage-wise decision-making. We propose POS-ISP, a sequence-level RL framework that formulates modular ISP optimization as a global sequence prediction problem. Our method predicts the entire module sequence and its parameters in a single forward pass and optimizes the pipeline using a terminal task reward, eliminating the need for intermediate supervision and redundant executions. Experiments across multiple downstream tasks show that POS-ISP improves task performance while reducing computational cost, highlighting sequence-level optimization as a stable and efficient paradigm for task-aware ISP. The project page is available at https://w1jyun.github.io/POS-ISP