POS-ISP: タスク対応ISPのためのシーケンスレベルにおけるパイプライン最適化

POS-ISP: Pipeline Optimization at the Sequence Level for Task-aware ISP

April 8, 2026

著者: Jiyun Won, Heemin Yang, Woohyeok Kim, Jungseul Ok, Sunghyun Cho

cs.AI

要旨

近年の研究では、事前定義されたモジュールを組み合わせてタスク特化型の目標に適応させることで、画像信号処理（ISP）パイプラインを様々なタスク向けに最適化する手法が探求されている。しかし、モジュールのシーケンスとパラメータを同時に最適化することは依然として困難な課題である。既存のアプローチは神経アーキテクチャ探索（NAS）や段階的強化学習（RL）に依存しているが、NASでは学習と推論の間に不一致が生じる問題があり、段階的RLではステージごとの意思決定により学習が不安定になり計算コストが高くなる。本研究では、モジュール化されたISPの最適化を大域的なシーケンス予測問題として定式化するシーケンスレベルRLフレームワーク「POS-ISP」を提案する。本手法は、モジュールシーケンスとそのパラメータ全体を単一のフォワードパスで予測し、終端タスク報酬を用いてパイプラインを最適化するため、中間監督や冗長な実行が不要となる。複数の下流タスクにおける実験により、POS-ISPが計算コストを削減しつつタスク性能を向上させることが実証され、タスク認識型ISPにおけるシーケンスレベル最適化の安定性と効率性が明らかとなった。プロジェクトページはhttps://w1jyun.github.io/POS-ISPで公開されている。

English

Recent work has explored optimizing image signal processing (ISP) pipelines for various tasks by composing predefined modules and adapting them to task-specific objectives. However, jointly optimizing module sequences and parameters remains challenging. Existing approaches rely on neural architecture search (NAS) or step-wise reinforcement learning (RL), but NAS suffers from a training-inference mismatch, while step-wise RL leads to unstable training and high computational overhead due to stage-wise decision-making. We propose POS-ISP, a sequence-level RL framework that formulates modular ISP optimization as a global sequence prediction problem. Our method predicts the entire module sequence and its parameters in a single forward pass and optimizes the pipeline using a terminal task reward, eliminating the need for intermediate supervision and redundant executions. Experiments across multiple downstream tasks show that POS-ISP improves task performance while reducing computational cost, highlighting sequence-level optimization as a stable and efficient paradigm for task-aware ISP. The project page is available at https://w1jyun.github.io/POS-ISP