Apprendimento per Rinforzo nella Visione: Una Rassegna

Reinforcement Learning in Vision: A Survey

August 11, 2025

Autori: Weijia Wu, Chen Gao, Joya Chen, Kevin Qinghong Lin, Qingwei Meng, Yiming Zhang, Yuke Qiu, Hong Zhou, Mike Zheng Shou

cs.AI

Abstract

I recenti progressi all'intersezione tra apprendimento per rinforzo (RL) e intelligenza visiva hanno permesso lo sviluppo di agenti che non solo percepiscono scene visive complesse, ma sono anche in grado di ragionare, generare e agire al loro interno. Questa rassegna offre una sintesi critica e aggiornata del campo. Iniziamo formalizzando i problemi di RL visivo e tracciando l'evoluzione delle strategie di ottimizzazione delle politiche, dal RLHF ai paradigmi di ricompensa verificabile, e dall'ottimizzazione delle politiche prossimali (PPO) all'ottimizzazione delle politiche relative di gruppo (GRPO). Successivamente, organizziamo oltre 200 lavori rappresentativi in quattro pilastri tematici: modelli linguistici multimodali su larga scala, generazione visiva, framework di modelli unificati e modelli visione-linguaggio-azione. Per ciascun pilastro, esaminiamo il design algoritmico, l'ingegneria delle ricompense, i progressi nei benchmark e distilliamo tendenze come l'addestramento guidato da curriculum, la diffusione allineata alle preferenze e la modellazione unificata delle ricompense. Infine, rivediamo i protocolli di valutazione che spaziano dalla fedeltà a livello di insieme, alle preferenze a livello di campione e alla stabilità a livello di stato, e identifichiamo sfide aperte che includono l'efficienza del campionamento, la generalizzazione e il dispiegamento sicuro. Il nostro obiettivo è fornire a ricercatori e professionisti una mappa coerente del panorama in rapida espansione del RL visivo e di evidenziare direzioni promettenti per future indagini. Le risorse sono disponibili all'indirizzo: https://github.com/weijiawu/Awesome-Visual-Reinforcement-Learning.

English

Recent advances at the intersection of reinforcement learning (RL) and visual intelligence have enabled agents that not only perceive complex visual scenes but also reason, generate, and act within them. This survey offers a critical and up-to-date synthesis of the field. We first formalize visual RL problems and trace the evolution of policy-optimization strategies from RLHF to verifiable reward paradigms, and from Proximal Policy Optimization to Group Relative Policy Optimization. We then organize more than 200 representative works into four thematic pillars: multi-modal large language models, visual generation, unified model frameworks, and vision-language-action models. For each pillar we examine algorithmic design, reward engineering, benchmark progress, and we distill trends such as curriculum-driven training, preference-aligned diffusion, and unified reward modeling. Finally, we review evaluation protocols spanning set-level fidelity, sample-level preference, and state-level stability, and we identify open challenges that include sample efficiency, generalization, and safe deployment. Our goal is to provide researchers and practitioners with a coherent map of the rapidly expanding landscape of visual RL and to highlight promising directions for future inquiry. Resources are available at: https://github.com/weijiawu/Awesome-Visual-Reinforcement-Learning.