PyVision-RL: Формирование открытых агентных визуальных моделей с помощью обучения с подкреплением

PyVision-RL: Forging Open Agentic Vision Models via RL

February 24, 2026

Авторы: Shitian Zhao, Shaoheng Lin, Ming Li, Haoquan Zhang, Wenshuo Peng, Kaipeng Zhang, Chen Wei

cs.AI

Аннотация

Подкрепляемое обучение для агентных мультимодальных моделей часто сталкивается с проблемой коллапса взаимодействия, когда модели учатся сокращать использование инструментов и многошаговые рассуждения, что ограничивает преимущества агентного поведения. Мы представляем PyVision-RL — фреймворк подкрепляемого обучения для открытых мультимодальных моделей, который стабилизирует обучение и поддерживает взаимодействие. Наш подход сочетает стратегию генерации траекторий с передискретизацией, фильтрацией и ранжированием с накопительным вознаграждением за использование инструментов, чтобы предотвратить коллапс и стимулировать многошаговое применение инструментов. Используя унифицированный конвейер обучения, мы разработали PyVision-Image и PyVision-Video для понимания изображений и видео. Для видео-рассуждений PyVision-Video использует контекстное построение по требованию, выборочно сэмплируя релевантные для задачи кадры во время рассуждения, что значительно сокращает использование визуальных токенов. Эксперименты демонстрируют высокую производительность и улучшенную эффективность, подтверждая, что устойчивое взаимодействие и обработка визуальной информации по требованию критически важны для масштабируемых мультимодальных агентов.

English

Reinforcement learning for agentic multimodal models often suffers from interaction collapse, where models learn to reduce tool usage and multi-turn reasoning, limiting the benefits of agentic behavior. We introduce PyVision-RL, a reinforcement learning framework for open-weight multimodal models that stabilizes training and sustains interaction. Our approach combines an oversampling-filtering-ranking rollout strategy with an accumulative tool reward to prevent collapse and encourage multi-turn tool use. Using a unified training pipeline, we develop PyVision-Image and PyVision-Video for image and video understanding. For video reasoning, PyVision-Video employs on-demand context construction, selectively sampling task-relevant frames during reasoning to significantly reduce visual token usage. Experiments show strong performance and improved efficiency, demonstrating that sustained interaction and on-demand visual processing are critical for scalable multimodal agents.