POS-ISP : Optimisation de Pipeline au Niveau Séquentiel pour un ISP Conscient de la Tâche
POS-ISP: Pipeline Optimization at the Sequence Level for Task-aware ISP
April 8, 2026
Auteurs: Jiyun Won, Heemin Yang, Woohyeok Kim, Jungseul Ok, Sunghyun Cho
cs.AI
Résumé
Des travaux récents ont exploré l'optimisation des chaînes de traitement du signal d'image (ISP) pour diverses tâches en composant des modules prédéfinis et en les adaptant à des objectifs spécifiques. Cependant, l'optimisation conjointe des séquences de modules et de leurs paramètres reste difficile. Les approches existantes reposent sur la recherche d'architecture neuronale (NAS) ou l'apprentissage par renforcement (RL) étape par étape, mais la NAS souffre d'un décalage entraînement-inférence, tandis que le RL séquentiel entraîne un apprentissage instable et un coût computationnel élevé en raison de la prise de décision par étapes. Nous proposons POS-ISP, un cadre RL au niveau séquentiel qui formule l'optimisation modulaire des ISP comme un problème de prédiction de séquence globale. Notre méthode prédit l'intégralité de la séquence de modules et ses paramètres en une seule passe avant et optimise la chaîne à l'aide d'une récompense de tâche finale, éliminant le besoin de supervision intermédiaire et d'exécutions redondantes. Les expériences sur plusieurs tâches en aval montrent que POS-ISP améliore les performances tout en réduisant le coût computationnel, soulignant l'optimisation au niveau séquentiel comme un paradigme stable et efficace pour les ISP adaptés aux tâches. La page du projet est disponible à l'adresse https://w1jyun.github.io/POS-ISP.
English
Recent work has explored optimizing image signal processing (ISP) pipelines for various tasks by composing predefined modules and adapting them to task-specific objectives. However, jointly optimizing module sequences and parameters remains challenging. Existing approaches rely on neural architecture search (NAS) or step-wise reinforcement learning (RL), but NAS suffers from a training-inference mismatch, while step-wise RL leads to unstable training and high computational overhead due to stage-wise decision-making. We propose POS-ISP, a sequence-level RL framework that formulates modular ISP optimization as a global sequence prediction problem. Our method predicts the entire module sequence and its parameters in a single forward pass and optimizes the pipeline using a terminal task reward, eliminating the need for intermediate supervision and redundant executions. Experiments across multiple downstream tasks show that POS-ISP improves task performance while reducing computational cost, highlighting sequence-level optimization as a stable and efficient paradigm for task-aware ISP. The project page is available at https://w1jyun.github.io/POS-ISP