PyVision : Vision agentique avec outils dynamiques

PyVision: Agentic Vision with Dynamic Tooling

July 10, 2025

papers.authors: Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Ming Li, Qilong Wu, Kaipeng Zhang, Chen Wei

cs.AI

papers.abstract

Les LLM (modèles de langage de grande taille) sont de plus en plus déployés en tant qu'agents, des systèmes capables de planifier, de raisonner et d'appeler dynamiquement des outils externes. Cependant, dans le domaine du raisonnement visuel, les approches précédentes restent largement limitées par des workflows prédéfinis et des ensembles d'outils statiques. Dans ce rapport, nous présentons PyVision, un cadre interactif et multi-tours qui permet aux MLLM (modèles de langage multi-modaux) de générer, exécuter et affiner de manière autonome des outils basés sur Python, adaptés à la tâche en cours, ouvrant ainsi la voie à une résolution de problèmes flexible et interprétable. Nous développons une taxonomie des outils créés par PyVision et analysons leur utilisation à travers un ensemble diversifié de benchmarks. Quantitativement, PyVision obtient des gains de performance constants, améliorant GPT-4.1 de +7,8 % sur V* et Claude-4.0-Sonnet de +31,1 % sur VLMsAreBlind-mini. Ces résultats indiquent un changement plus large : l'outillage dynamique permet aux modèles non seulement d'utiliser des outils, mais aussi de les inventer, progressant ainsi vers un raisonnement visuel plus agentique.

English

LLMs are increasingly deployed as agents, systems capable of planning, reasoning, and dynamically calling external tools. However, in visual reasoning, prior approaches largely remain limited by predefined workflows and static toolsets. In this report, we present PyVision, an interactive, multi-turn framework that enables MLLMs to autonomously generate, execute, and refine Python-based tools tailored to the task at hand, unlocking flexible and interpretable problem-solving. We develop a taxonomy of the tools created by PyVision and analyze their usage across a diverse set of benchmarks. Quantitatively, PyVision achieves consistent performance gains, boosting GPT-4.1 by +7.8% on V* and Claude-4.0-Sonnet by +31.1% on VLMsAreBlind-mini. These results point to a broader shift: dynamic tooling allows models not just to use tools, but to invent them, advancing toward more agentic visual reasoning.