PyVision-RL: Forjando Modelos Visuais Agentes Abertos via RL
PyVision-RL: Forging Open Agentic Vision Models via RL
February 24, 2026
Autores: Shitian Zhao, Shaoheng Lin, Ming Li, Haoquan Zhang, Wenshuo Peng, Kaipeng Zhang, Chen Wei
cs.AI
Resumo
A aprendizagem por reforço para modelos multimodais agentivos frequentemente sofre de colapso de interação, onde os modelos aprendem a reduzir o uso de ferramentas e o raciocínio multi-etapas, limitando os benefícios do comportamento agentivo. Apresentamos o PyVision-RL, um framework de aprendizagem por reforço para modelos multimodais de pesos abertos que estabiliza o treinamento e mantém a interação. Nossa abordagem combina uma estratégia de rollout de superamostragem-filtragem-classificação com uma recompensa acumulativa por uso de ferramentas para prevenir o colapso e incentivar o uso multi-etapas de ferramentas. Utilizando um pipeline de treinamento unificado, desenvolvemos o PyVision-Image e o PyVision-Video para compreensão de imagens e vídeos. Para o raciocínio em vídeos, o PyVision-Video emprega construção de contexto sob demanda, amostrando seletivamente quadros relevantes para a tarefa durante o raciocínio para reduzir significativamente o uso de tokens visuais. Experimentos demonstram forte desempenho e eficiência aprimorada, comprovando que a interação sustentada e o processamento visual sob demanda são críticos para agentes multimodais escaláveis.
English
Reinforcement learning for agentic multimodal models often suffers from interaction collapse, where models learn to reduce tool usage and multi-turn reasoning, limiting the benefits of agentic behavior. We introduce PyVision-RL, a reinforcement learning framework for open-weight multimodal models that stabilizes training and sustains interaction. Our approach combines an oversampling-filtering-ranking rollout strategy with an accumulative tool reward to prevent collapse and encourage multi-turn tool use. Using a unified training pipeline, we develop PyVision-Image and PyVision-Video for image and video understanding. For video reasoning, PyVision-Video employs on-demand context construction, selectively sampling task-relevant frames during reasoning to significantly reduce visual token usage. Experiments show strong performance and improved efficiency, demonstrating that sustained interaction and on-demand visual processing are critical for scalable multimodal agents.