PyVision-RL: Het Smeden van Open Agent Vision-Modellen via RL
PyVision-RL: Forging Open Agentic Vision Models via RL
February 24, 2026
Auteurs: Shitian Zhao, Shaoheng Lin, Ming Li, Haoquan Zhang, Wenshuo Peng, Kaipeng Zhang, Chen Wei
cs.AI
Samenvatting
Versterkend leren voor agentische multimodale modellen lijdt vaak onder interactie-instorting, waarbij modellen leren om toolgebruik en meerfasig redeneren te verminderen, wat de voordelen van agentisch gedrag beperkt. Wij introduceren PyVision-RL, een raamwerk voor versterkend leren voor open-gewicht multimodale modellen dat de training stabiliseert en interactie in stand houdt. Onze aanpak combineert een oversampling-filtering-ranking rollout-strategie met een cumulatieve toolbeloning om instorting te voorkomen en meerfasig toolgebruik te stimuleren. Met behulp van een uniforme trainingspijplijn ontwikkelen we PyVision-Image en PyVision-Video voor beeld- en videobegrip. Voor videoredenering gebruikt PyVision-Video contextconstructie op aanvraag, waarbij tijdens het redeneren selectief taakrelevante frames worden bemonsterd om het gebruik van visuele tokens aanzienlijk te verminderen. Experimenten tonen sterke prestaties en verbeterde efficiëntie aan, wat aantoont dat volgehouden interactie en visuele verwerking op aanvraag cruciaal zijn voor schaalbare multimodale agents.
English
Reinforcement learning for agentic multimodal models often suffers from interaction collapse, where models learn to reduce tool usage and multi-turn reasoning, limiting the benefits of agentic behavior. We introduce PyVision-RL, a reinforcement learning framework for open-weight multimodal models that stabilizes training and sustains interaction. Our approach combines an oversampling-filtering-ranking rollout strategy with an accumulative tool reward to prevent collapse and encourage multi-turn tool use. Using a unified training pipeline, we develop PyVision-Image and PyVision-Video for image and video understanding. For video reasoning, PyVision-Video employs on-demand context construction, selectively sampling task-relevant frames during reasoning to significantly reduce visual token usage. Experiments show strong performance and improved efficiency, demonstrating that sustained interaction and on-demand visual processing are critical for scalable multimodal agents.