Apprentissage par Renforcement en Vision : Une Étude Synthétique

Reinforcement Learning in Vision: A Survey

August 11, 2025

papers.authors: Weijia Wu, Chen Gao, Joya Chen, Kevin Qinghong Lin, Qingwei Meng, Yiming Zhang, Yuke Qiu, Hong Zhou, Mike Zheng Shou

cs.AI

papers.abstract

Les récentes avancées à l'intersection de l'apprentissage par renforcement (RL) et de l'intelligence visuelle ont permis de développer des agents capables non seulement de percevoir des scènes visuelles complexes, mais aussi de raisonner, de générer et d'agir au sein de celles-ci. Cette étude propose une synthèse critique et actualisée du domaine. Nous commençons par formaliser les problèmes de RL visuelle et retraçons l'évolution des stratégies d'optimisation des politiques, depuis le RLHF jusqu'aux paradigmes de récompense vérifiables, et de l'Optimisation de Politique Proximale à l'Optimisation de Politique Relative par Groupe. Nous organisons ensuite plus de 200 travaux représentatifs en quatre piliers thématiques : les modèles de langage multi-modaux de grande taille, la génération visuelle, les cadres de modèles unifiés et les modèles vision-langage-action. Pour chaque pilier, nous examinons la conception algorithmique, l'ingénierie des récompenses, les progrès en matière de benchmarks, et nous distillons des tendances telles que l'entraînement piloté par curriculum, la diffusion alignée sur les préférences et la modélisation unifiée des récompenses. Enfin, nous passons en revue les protocoles d'évaluation couvrant la fidélité au niveau des ensembles, les préférences au niveau des échantillons et la stabilité au niveau des états, et nous identifions les défis ouverts, notamment l'efficacité des échantillons, la généralisation et le déploiement sécurisé. Notre objectif est de fournir aux chercheurs et aux praticiens une carte cohérente du paysage en expansion rapide de la RL visuelle et de mettre en lumière des directions prometteuses pour les recherches futures. Les ressources sont disponibles à l'adresse suivante : https://github.com/weijiawu/Awesome-Visual-Reinforcement-Learning.

English

Recent advances at the intersection of reinforcement learning (RL) and visual intelligence have enabled agents that not only perceive complex visual scenes but also reason, generate, and act within them. This survey offers a critical and up-to-date synthesis of the field. We first formalize visual RL problems and trace the evolution of policy-optimization strategies from RLHF to verifiable reward paradigms, and from Proximal Policy Optimization to Group Relative Policy Optimization. We then organize more than 200 representative works into four thematic pillars: multi-modal large language models, visual generation, unified model frameworks, and vision-language-action models. For each pillar we examine algorithmic design, reward engineering, benchmark progress, and we distill trends such as curriculum-driven training, preference-aligned diffusion, and unified reward modeling. Finally, we review evaluation protocols spanning set-level fidelity, sample-level preference, and state-level stability, and we identify open challenges that include sample efficiency, generalization, and safe deployment. Our goal is to provide researchers and practitioners with a coherent map of the rapidly expanding landscape of visual RL and to highlight promising directions for future inquiry. Resources are available at: https://github.com/weijiawu/Awesome-Visual-Reinforcement-Learning.