POS-ISP: Оптимизация конвейера обработки изображений на уровне последовательности для целевой ISP-системы
POS-ISP: Pipeline Optimization at the Sequence Level for Task-aware ISP
April 8, 2026
Авторы: Jiyun Won, Heemin Yang, Woohyeok Kim, Jungseul Ok, Sunghyun Cho
cs.AI
Аннотация
В последних исследованиях изучается оптимизация конвейеров обработки изображений (ISP) для различных задач путем комбинирования предопределенных модулей и их адаптации под конкретные цели. Однако совместная оптимизация последовательностей модулей и их параметров остается сложной задачей. Существующие подходы опираются на нейроархитектурный поиск (NAS) или пошаговое обучение с подкреплением (RL), но NAS страдает от несоответствия между обучением и выводом, а пошаговое RL приводит к нестабильному обучению и высоким вычислительным затратам из-за принятия поэтапных решений. Мы предлагаем POS-ISP — RL-фреймворк на уровне последовательностей, который формулирует модульную оптимизацию ISP как глобальную задачу прогнозирования последовательностей. Наш метод предсказывает всю последовательность модулей и ее параметры за один прямой проход и оптимизирует конвейер с использованием итогового вознаграждения за задачу, устраняя необходимость в промежуточном контроле и избыточных выполнениях. Эксперименты на множестве downstream-задач показывают, что POS-ISP улучшает производительность задач при снижении вычислительных затрат, демонстрия, что оптимизация на уровне последовательностей является стабильной и эффективной парадигмой для task-aware ISP. Страница проекта доступна по адресу https://w1jyun.github.io/POS-ISP.
English
Recent work has explored optimizing image signal processing (ISP) pipelines for various tasks by composing predefined modules and adapting them to task-specific objectives. However, jointly optimizing module sequences and parameters remains challenging. Existing approaches rely on neural architecture search (NAS) or step-wise reinforcement learning (RL), but NAS suffers from a training-inference mismatch, while step-wise RL leads to unstable training and high computational overhead due to stage-wise decision-making. We propose POS-ISP, a sequence-level RL framework that formulates modular ISP optimization as a global sequence prediction problem. Our method predicts the entire module sequence and its parameters in a single forward pass and optimizes the pipeline using a terminal task reward, eliminating the need for intermediate supervision and redundant executions. Experiments across multiple downstream tasks show that POS-ISP improves task performance while reducing computational cost, highlighting sequence-level optimization as a stable and efficient paradigm for task-aware ISP. The project page is available at https://w1jyun.github.io/POS-ISP