Aprendizaje por Refuerzo en Visión: Una Revisión

Reinforcement Learning in Vision: A Survey

August 11, 2025

Autores: Weijia Wu, Chen Gao, Joya Chen, Kevin Qinghong Lin, Qingwei Meng, Yiming Zhang, Yuke Qiu, Hong Zhou, Mike Zheng Shou

cs.AI

Resumen

Los recientes avances en la intersección del aprendizaje por refuerzo (RL, por sus siglas en inglés) y la inteligencia visual han permitido el desarrollo de agentes que no solo perciben escenas visuales complejas, sino que también razonan, generan y actúan dentro de ellas. Este estudio ofrece una síntesis crítica y actualizada del campo. En primer lugar, formalizamos los problemas de RL visual y trazamos la evolución de las estrategias de optimización de políticas, desde RLHF hasta paradigmas de recompensa verificable, y desde la Optimización de Políticas Proximales (PPO) hasta la Optimización de Políticas Relativas de Grupo (GRPO). Luego, organizamos más de 200 trabajos representativos en cuatro pilares temáticos: modelos de lenguaje multimodal de gran escala, generación visual, marcos de modelos unificados y modelos de visión-lenguaje-acción. Para cada pilar, examinamos el diseño algorítmico, la ingeniería de recompensas, el progreso en los benchmarks y destilamos tendencias como el entrenamiento basado en currículos, la difusión alineada con preferencias y el modelado unificado de recompensas. Finalmente, revisamos protocolos de evaluación que abarcan la fidelidad a nivel de conjunto, la preferencia a nivel de muestra y la estabilidad a nivel de estado, e identificamos desafíos abiertos que incluyen la eficiencia de muestreo, la generalización y el despliegue seguro. Nuestro objetivo es proporcionar a investigadores y profesionales un mapa coherente del panorama en rápida expansión del RL visual y resaltar direcciones prometedoras para futuras investigaciones. Los recursos están disponibles en: https://github.com/weijiawu/Awesome-Visual-Reinforcement-Learning.

English

Recent advances at the intersection of reinforcement learning (RL) and visual intelligence have enabled agents that not only perceive complex visual scenes but also reason, generate, and act within them. This survey offers a critical and up-to-date synthesis of the field. We first formalize visual RL problems and trace the evolution of policy-optimization strategies from RLHF to verifiable reward paradigms, and from Proximal Policy Optimization to Group Relative Policy Optimization. We then organize more than 200 representative works into four thematic pillars: multi-modal large language models, visual generation, unified model frameworks, and vision-language-action models. For each pillar we examine algorithmic design, reward engineering, benchmark progress, and we distill trends such as curriculum-driven training, preference-aligned diffusion, and unified reward modeling. Finally, we review evaluation protocols spanning set-level fidelity, sample-level preference, and state-level stability, and we identify open challenges that include sample efficiency, generalization, and safe deployment. Our goal is to provide researchers and practitioners with a coherent map of the rapidly expanding landscape of visual RL and to highlight promising directions for future inquiry. Resources are available at: https://github.com/weijiawu/Awesome-Visual-Reinforcement-Learning.