PyVision: Visione Agente con Strumentazione Dinamica

PyVision: Agentic Vision with Dynamic Tooling

July 10, 2025

Autori: Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Ming Li, Qilong Wu, Kaipeng Zhang, Chen Wei

cs.AI

Abstract

I LLM vengono sempre più impiegati come agenti, sistemi in grado di pianificare, ragionare e richiamare dinamicamente strumenti esterni. Tuttavia, nel ragionamento visivo, gli approcci precedenti rimangono in gran parte limitati da flussi di lavoro predefiniti e set di strumenti statici. In questo rapporto, presentiamo PyVision, un framework interattivo e multi-turn che consente agli MLLM di generare, eseguire e perfezionare autonomamente strumenti basati su Python, adattati al compito specifico, sbloccando così una risoluzione dei problemi flessibile e interpretabile. Sviluppiamo una tassonomia degli strumenti creati da PyVision e analizziamo il loro utilizzo su un insieme diversificato di benchmark. Quantitativamente, PyVision ottiene guadagni di prestazioni consistenti, migliorando GPT-4.1 del +7,8% su V* e Claude-4.0-Sonnet del +31,1% su VLMsAreBlind-mini. Questi risultati indicano un cambiamento più ampio: la strumentazione dinamica consente ai modelli non solo di utilizzare strumenti, ma di inventarli, avanzando verso un ragionamento visivo più agentico.

English

LLMs are increasingly deployed as agents, systems capable of planning, reasoning, and dynamically calling external tools. However, in visual reasoning, prior approaches largely remain limited by predefined workflows and static toolsets. In this report, we present PyVision, an interactive, multi-turn framework that enables MLLMs to autonomously generate, execute, and refine Python-based tools tailored to the task at hand, unlocking flexible and interpretable problem-solving. We develop a taxonomy of the tools created by PyVision and analyze their usage across a diverse set of benchmarks. Quantitatively, PyVision achieves consistent performance gains, boosting GPT-4.1 by +7.8% on V* and Claude-4.0-Sonnet by +31.1% on VLMsAreBlind-mini. These results point to a broader shift: dynamic tooling allows models not just to use tools, but to invent them, advancing toward more agentic visual reasoning.