POS-ISP: Ottimizzazione della Pipeline a Livello di Sequenza per un ISP Consapevole del Compito
POS-ISP: Pipeline Optimization at the Sequence Level for Task-aware ISP
April 8, 2026
Autori: Jiyun Won, Heemin Yang, Woohyeok Kim, Jungseul Ok, Sunghyun Cho
cs.AI
Abstract
Recenti lavori hanno esplorato l'ottimizzazione delle pipeline di elaborazione del segnale d'immagine (ISP) per vari compiti componendo moduli predefiniti e adattandoli a obiettivi specifici. Tuttavia, l'ottimizzazione congiunta delle sequenze modulari e dei loro parametri rimane impegnativa. Gli approcci esistenti si basano sulla ricerca di architetture neurali (NAS) o su apprendimento per rinforzo (RL) step-by-step, ma la NAS soffre di una discrepanza addestramento-inferenza, mentre il RL step-by-step porta a un addestramento instabile e a un elevato costo computazionale a causa del processo decisionale per stadi. Proponiamo POS-ISP, un framework RL a livello di sequenza che formula l'ottimizzazione modulare dell'ISP come un problema di predizione globale della sequenza. Il nostro metodo predice l'intera sequenza modulare e i suoi parametri in un singolo passaggio in avanti e ottimizza la pipeline utilizzando una ricompensa finale basata sul compito, eliminando la necessità di supervisione intermedia ed esecuzioni ridondanti. Esperimenti su molteplici compiti downstream mostrano che POS-ISP migliora le prestazioni del compito riducendo al contempo il costo computazionale, evidenziando l'ottimizzazione a livello di sequenza come un paradigma stabile ed efficiente per ISP orientati al compito. La pagina del progetto è disponibile all'indirizzo https://w1jyun.github.io/POS-ISP.
English
Recent work has explored optimizing image signal processing (ISP) pipelines for various tasks by composing predefined modules and adapting them to task-specific objectives. However, jointly optimizing module sequences and parameters remains challenging. Existing approaches rely on neural architecture search (NAS) or step-wise reinforcement learning (RL), but NAS suffers from a training-inference mismatch, while step-wise RL leads to unstable training and high computational overhead due to stage-wise decision-making. We propose POS-ISP, a sequence-level RL framework that formulates modular ISP optimization as a global sequence prediction problem. Our method predicts the entire module sequence and its parameters in a single forward pass and optimizes the pipeline using a terminal task reward, eliminating the need for intermediate supervision and redundant executions. Experiments across multiple downstream tasks show that POS-ISP improves task performance while reducing computational cost, highlighting sequence-level optimization as a stable and efficient paradigm for task-aware ISP. The project page is available at https://w1jyun.github.io/POS-ISP