Aprendizado por Reforço em Visão: Uma Revisão

Reinforcement Learning in Vision: A Survey

August 11, 2025

Autores: Weijia Wu, Chen Gao, Joya Chen, Kevin Qinghong Lin, Qingwei Meng, Yiming Zhang, Yuke Qiu, Hong Zhou, Mike Zheng Shou

cs.AI

Resumo

Os recentes avanços na interseção entre aprendizado por reforço (RL) e inteligência visual têm permitido a criação de agentes que não apenas percebem cenas visuais complexas, mas também raciocinam, geram e agem dentro delas. Esta pesquisa oferece uma síntese crítica e atualizada do campo. Primeiro, formalizamos os problemas de RL visual e traçamos a evolução das estratégias de otimização de políticas, desde RLHF até paradigmas de recompensa verificáveis, e desde a Otimização de Política Proximal até a Otimização de Política Relativa em Grupo. Em seguida, organizamos mais de 200 trabalhos representativos em quatro pilares temáticos: modelos de linguagem multimodal em grande escala, geração visual, frameworks de modelos unificados e modelos visão-linguagem-ação. Para cada pilar, examinamos o design algorítmico, a engenharia de recompensas, o progresso em benchmarks e destilamos tendências como treinamento guiado por currículo, difusão alinhada a preferências e modelagem unificada de recompensas. Por fim, revisamos protocolos de avaliação que abrangem fidelidade em nível de conjunto, preferência em nível de amostra e estabilidade em nível de estado, e identificamos desafios em aberto que incluem eficiência de amostras, generalização e implantação segura. Nosso objetivo é fornecer aos pesquisadores e profissionais um mapa coerente do cenário em rápida expansão do RL visual e destacar direções promissoras para investigações futuras. Recursos estão disponíveis em: https://github.com/weijiawu/Awesome-Visual-Reinforcement-Learning.

English

Recent advances at the intersection of reinforcement learning (RL) and visual intelligence have enabled agents that not only perceive complex visual scenes but also reason, generate, and act within them. This survey offers a critical and up-to-date synthesis of the field. We first formalize visual RL problems and trace the evolution of policy-optimization strategies from RLHF to verifiable reward paradigms, and from Proximal Policy Optimization to Group Relative Policy Optimization. We then organize more than 200 representative works into four thematic pillars: multi-modal large language models, visual generation, unified model frameworks, and vision-language-action models. For each pillar we examine algorithmic design, reward engineering, benchmark progress, and we distill trends such as curriculum-driven training, preference-aligned diffusion, and unified reward modeling. Finally, we review evaluation protocols spanning set-level fidelity, sample-level preference, and state-level stability, and we identify open challenges that include sample efficiency, generalization, and safe deployment. Our goal is to provide researchers and practitioners with a coherent map of the rapidly expanding landscape of visual RL and to highlight promising directions for future inquiry. Resources are available at: https://github.com/weijiawu/Awesome-Visual-Reinforcement-Learning.