POS-ISP: 작업 인식 ISP를 위한 시퀀스 수준 파이프라인 최적화

초록

최근 연구에서는 미리 정의된 모듈을 구성하고 작업별 목표에 맞게 조정하여 다양한 작업에 맞게 이미지 신호 처리(ISP) 파이프라인을 최적화하는 방법을 탐구하고 있습니다. 그러나 모듈 시퀀스와 매개변수를 함께 최적화하는 것은 여전히 어려운 과제로 남아 있습니다. 기존 접근법은 신경 구조 탐색(NAS)이나 단계별 강화 학습(RL)에 의존하지만, NAS는 훈련-추론 불일치 문제가 있고, 단계별 RL은 단계적 의사 결정으로 인해 불안정한 훈련과 높은 계산 비용을 초래합니다. 우리는 모듈식 ISP 최적화를 전역 시퀀스 예측 문제로 공식화하는 시퀀스 수준 RL 프레임워크인 POS-ISP를 제안합니다. 우리의 방법은 전체 모듈 시퀀스와 해당 매개변수를 단일 순방향 전달로 예측하고 최종 작업 보상을 사용하여 파이프라인을 최적화하여 중간 감독과 중복 실행이 필요 없습니다. 다양한 다운스트림 작업에 대한 실험을 통해 POS-ISP가 계산 비용을 줄이면서 작업 성능을 향상시킴을 확인했으며, 이는 작업 인식 ISP를 위한 안정적이고 효율적인 패러다임으로서 시퀀스 수준 최적화의 중요성을 강조합니다. 프로젝트 페이지는 https://w1jyun.github.io/POS-ISP에서 확인할 수 있습니다.

English

Recent work has explored optimizing image signal processing (ISP) pipelines for various tasks by composing predefined modules and adapting them to task-specific objectives. However, jointly optimizing module sequences and parameters remains challenging. Existing approaches rely on neural architecture search (NAS) or step-wise reinforcement learning (RL), but NAS suffers from a training-inference mismatch, while step-wise RL leads to unstable training and high computational overhead due to stage-wise decision-making. We propose POS-ISP, a sequence-level RL framework that formulates modular ISP optimization as a global sequence prediction problem. Our method predicts the entire module sequence and its parameters in a single forward pass and optimizes the pipeline using a terminal task reward, eliminating the need for intermediate supervision and redundant executions. Experiments across multiple downstream tasks show that POS-ISP improves task performance while reducing computational cost, highlighting sequence-level optimization as a stable and efficient paradigm for task-aware ISP. The project page is available at https://w1jyun.github.io/POS-ISP

POS-ISP: 작업 인식 ISP를 위한 시퀀스 수준 파이프라인 최적화

POS-ISP: Pipeline Optimization at the Sequence Level for Task-aware ISP

초록

Support