POS-ISP: Otimização de Pipeline em Nível de Sequência para ISP Consciente da Tarefa
POS-ISP: Pipeline Optimization at the Sequence Level for Task-aware ISP
April 8, 2026
Autores: Jiyun Won, Heemin Yang, Woohyeok Kim, Jungseul Ok, Sunghyun Cho
cs.AI
Resumo
Trabalhos recentes têm explorado a otimização de pipelines de processamento de sinal de imagem (ISP) para várias tarefas através da composição de módulos predefinidos e da sua adaptação a objetivos específicos. No entanto, a otimização conjunta de sequências e parâmetros dos módulos continua a ser um desafio. As abordagens existentes baseiam-se em pesquisa de arquitetura neural (NAS) ou em aprendizagem por reforço (RL) passo a passo, mas a NAS sofre de uma incompatibilidade entre treino e inferência, enquanto a RL passo a passo leva a um treino instável e a uma elevada sobrecarga computacional devido à tomada de decisão faseada. Propomos o POS-ISP, um quadro de RL a nível de sequência que formula a otimização modular do ISP como um problema global de previsão de sequência. O nosso método prevê toda a sequência de módulos e os seus parâmetros numa única passagem direta e otimiza o pipeline usando uma recompensa de tarefa terminal, eliminando a necessidade de supervisão intermédia e execuções redundantes. Experiências em várias tarefas a jusante mostram que o POS-ISP melhora o desempenho da tarefa enquanto reduz o custo computacional, destacando a otimização a nível de sequência como um paradigma estável e eficiente para ISP consciente da tarefa. A página do projeto está disponível em https://w1jyun.github.io/POS-ISP.
English
Recent work has explored optimizing image signal processing (ISP) pipelines for various tasks by composing predefined modules and adapting them to task-specific objectives. However, jointly optimizing module sequences and parameters remains challenging. Existing approaches rely on neural architecture search (NAS) or step-wise reinforcement learning (RL), but NAS suffers from a training-inference mismatch, while step-wise RL leads to unstable training and high computational overhead due to stage-wise decision-making. We propose POS-ISP, a sequence-level RL framework that formulates modular ISP optimization as a global sequence prediction problem. Our method predicts the entire module sequence and its parameters in a single forward pass and optimizes the pipeline using a terminal task reward, eliminating the need for intermediate supervision and redundant executions. Experiments across multiple downstream tasks show that POS-ISP improves task performance while reducing computational cost, highlighting sequence-level optimization as a stable and efficient paradigm for task-aware ISP. The project page is available at https://w1jyun.github.io/POS-ISP