Обучение с подкреплением в компьютерном зрении: обзор

Reinforcement Learning in Vision: A Survey

August 11, 2025

Авторы: Weijia Wu, Chen Gao, Joya Chen, Kevin Qinghong Lin, Qingwei Meng, Yiming Zhang, Yuke Qiu, Hong Zhou, Mike Zheng Shou

cs.AI

Аннотация

Последние достижения на стыке обучения с подкреплением (RL) и визуального интеллекта позволили создать агентов, которые не только воспринимают сложные визуальные сцены, но также рассуждают, генерируют и действуют в них. Этот обзор предлагает критический и актуальный синтез данной области. Сначала мы формализуем задачи визуального RL и прослеживаем эволюцию стратегий оптимизации политик — от RLHF до верифицируемых парадигм вознаграждения, а также от Proximal Policy Optimization до Group Relative Policy Optimization. Затем мы систематизируем более 200 репрезентативных работ в четыре тематических направления: мультимодальные большие языковые модели, визуальная генерация, унифицированные модельные фреймворки и модели "визуальный язык — действие". Для каждого направления мы анализируем алгоритмический дизайн, инженерию вознаграждений, прогресс в бенчмарках и выделяем тренды, такие как обучение на основе учебных планов, диффузия, согласованная с предпочтениями, и унифицированное моделирование вознаграждений. Наконец, мы рассматриваем протоколы оценки, охватывающие точность на уровне наборов, предпочтения на уровне образцов и стабильность на уровне состояний, а также выделяем открытые проблемы, включая эффективность использования данных, обобщаемость и безопасное развертывание. Наша цель — предоставить исследователям и практикам четкую карту быстро расширяющегося ландшафта визуального RL и выделить перспективные направления для будущих исследований. Ресурсы доступны по адресу: https://github.com/weijiawu/Awesome-Visual-Reinforcement-Learning.

English

Recent advances at the intersection of reinforcement learning (RL) and visual intelligence have enabled agents that not only perceive complex visual scenes but also reason, generate, and act within them. This survey offers a critical and up-to-date synthesis of the field. We first formalize visual RL problems and trace the evolution of policy-optimization strategies from RLHF to verifiable reward paradigms, and from Proximal Policy Optimization to Group Relative Policy Optimization. We then organize more than 200 representative works into four thematic pillars: multi-modal large language models, visual generation, unified model frameworks, and vision-language-action models. For each pillar we examine algorithmic design, reward engineering, benchmark progress, and we distill trends such as curriculum-driven training, preference-aligned diffusion, and unified reward modeling. Finally, we review evaluation protocols spanning set-level fidelity, sample-level preference, and state-level stability, and we identify open challenges that include sample efficiency, generalization, and safe deployment. Our goal is to provide researchers and practitioners with a coherent map of the rapidly expanding landscape of visual RL and to highlight promising directions for future inquiry. Resources are available at: https://github.com/weijiawu/Awesome-Visual-Reinforcement-Learning.