PyVision: Agentisch Zien met Dynamische Gereedschappen

PyVision: Agentic Vision with Dynamic Tooling

July 10, 2025

Auteurs: Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Ming Li, Qilong Wu, Kaipeng Zhang, Chen Wei

cs.AI

Samenvatting

LLM's worden steeds vaker ingezet als agents, systemen die in staat zijn tot plannen, redeneren en het dynamisch aanroepen van externe tools. Echter, in visueel redeneren blijven eerdere benaderingen grotendeels beperkt door vooraf gedefinieerde workflows en statische toolsets. In dit rapport presenteren we PyVision, een interactief, multi-turn framework dat MLLM's in staat stelt om autonoom Python-gebaseerde tools te genereren, uit te voeren en te verfijnen die zijn afgestemd op de taak waarvoor ze worden gebruikt, waardoor flexibel en interpreteerbaar probleemoplossen mogelijk wordt. We ontwikkelen een taxonomie van de tools die door PyVision worden gecreëerd en analyseren hun gebruik over een diverse set benchmarks. Kwantitatief behaalt PyVision consistente prestatieverbeteringen, met een stijging van +7,8% voor GPT-4.1 op V* en +31,1% voor Claude-4.0-Sonnet op VLMsAreBlind-mini. Deze resultaten wijzen op een bredere verschuiving: dynamische tooling stelt modellen niet alleen in staat om tools te gebruiken, maar ook om ze uit te vinden, wat leidt tot meer agentisch visueel redeneren.

English

LLMs are increasingly deployed as agents, systems capable of planning, reasoning, and dynamically calling external tools. However, in visual reasoning, prior approaches largely remain limited by predefined workflows and static toolsets. In this report, we present PyVision, an interactive, multi-turn framework that enables MLLMs to autonomously generate, execute, and refine Python-based tools tailored to the task at hand, unlocking flexible and interpretable problem-solving. We develop a taxonomy of the tools created by PyVision and analyze their usage across a diverse set of benchmarks. Quantitatively, PyVision achieves consistent performance gains, boosting GPT-4.1 by +7.8% on V* and Claude-4.0-Sonnet by +31.1% on VLMsAreBlind-mini. These results point to a broader shift: dynamic tooling allows models not just to use tools, but to invent them, advancing toward more agentic visual reasoning.