PyVision: Агентное зрение с динамическим инструментарием

PyVision: Agentic Vision with Dynamic Tooling

July 10, 2025

Авторы: Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Ming Li, Qilong Wu, Kaipeng Zhang, Chen Wei

cs.AI

Аннотация

Крупные языковые модели (LLM) всё чаще используются в качестве агентов — систем, способных планировать, рассуждать и динамически вызывать внешние инструменты. Однако в области визуального мышления предыдущие подходы в основном ограничивались предопределёнными рабочими процессами и статическими наборами инструментов. В данном отчёте мы представляем PyVision — интерактивную многошаговую платформу, которая позволяет мультимодальным языковым моделям (MLLM) автономно создавать, выполнять и уточнять инструменты на основе Python, адаптированные к конкретной задаче, обеспечивая гибкое и интерпретируемое решение проблем. Мы разработали таксономию инструментов, созданных PyVision, и проанализировали их использование на разнообразных тестовых наборах. Количественные результаты показывают, что PyVision обеспечивает стабильное улучшение производительности: GPT-4.1 улучшается на +7,8% на V*, а Claude-4.0-Sonnet — на +31,1% на VLMsAreBlind-mini. Эти результаты указывают на более широкий сдвиг: динамическое создание инструментов позволяет моделям не только использовать инструменты, но и изобретать их, продвигаясь к более автономному визуальному мышлению.

English

LLMs are increasingly deployed as agents, systems capable of planning, reasoning, and dynamically calling external tools. However, in visual reasoning, prior approaches largely remain limited by predefined workflows and static toolsets. In this report, we present PyVision, an interactive, multi-turn framework that enables MLLMs to autonomously generate, execute, and refine Python-based tools tailored to the task at hand, unlocking flexible and interpretable problem-solving. We develop a taxonomy of the tools created by PyVision and analyze their usage across a diverse set of benchmarks. Quantitatively, PyVision achieves consistent performance gains, boosting GPT-4.1 by +7.8% on V* and Claude-4.0-Sonnet by +31.1% on VLMsAreBlind-mini. These results point to a broader shift: dynamic tooling allows models not just to use tools, but to invent them, advancing toward more agentic visual reasoning.