PyVision-RL: Forjando Modelos de Visión Agénticos Abiertos mediante RL
PyVision-RL: Forging Open Agentic Vision Models via RL
February 24, 2026
Autores: Shitian Zhao, Shaoheng Lin, Ming Li, Haoquan Zhang, Wenshuo Peng, Kaipeng Zhang, Chen Wei
cs.AI
Resumen
El aprendizaje por refuerzo para modelos multimodales agentivos a menudo sufre de colapso de interacción, donde los modelos aprenden a reducir el uso de herramientas y el razonamiento multiturno, limitando los beneficios del comportamiento agentivo. Presentamos PyVision-RL, un marco de aprendizaje por refuerzo para modelos multimodales de pesos abiertos que estabiliza el entrenamiento y mantiene la interacción. Nuestro enfoque combina una estrategia de muestreo excesivo-filtrado-clasificación para rollouts con una recompensa de herramienta acumulativa para prevenir el colapso y fomentar el uso multiturno de herramientas. Utilizando una canalización de entrenamiento unificada, desarrollamos PyVision-Image y PyVision-Video para la comprensión de imágenes y videos. Para el razonamiento sobre videos, PyVision-Video emplea una construcción de contexto bajo demanda, muestreando selectivamente fotogramas relevantes para la tarea durante el razonamiento para reducir significativamente el uso de tokens visuales. Los experimentos muestran un rendimiento sólido y una eficiencia mejorada, demostrando que la interacción sostenida y el procesamiento visual bajo demanda son críticos para agentes multimodales escalables.
English
Reinforcement learning for agentic multimodal models often suffers from interaction collapse, where models learn to reduce tool usage and multi-turn reasoning, limiting the benefits of agentic behavior. We introduce PyVision-RL, a reinforcement learning framework for open-weight multimodal models that stabilizes training and sustains interaction. Our approach combines an oversampling-filtering-ranking rollout strategy with an accumulative tool reward to prevent collapse and encourage multi-turn tool use. Using a unified training pipeline, we develop PyVision-Image and PyVision-Video for image and video understanding. For video reasoning, PyVision-Video employs on-demand context construction, selectively sampling task-relevant frames during reasoning to significantly reduce visual token usage. Experiments show strong performance and improved efficiency, demonstrating that sustained interaction and on-demand visual processing are critical for scalable multimodal agents.