PyVision: Visión Agéntica con Herramientas Dinámicas

PyVision: Agentic Vision with Dynamic Tooling

July 10, 2025

Autores: Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Ming Li, Qilong Wu, Kaipeng Zhang, Chen Wei

cs.AI

Resumen

Los LLM se están implementando cada vez más como agentes, sistemas capaces de planificar, razonar y llamar dinámicamente a herramientas externas. Sin embargo, en el razonamiento visual, los enfoques anteriores siguen estando limitados en gran medida por flujos de trabajo predefinidos y conjuntos de herramientas estáticos. En este informe, presentamos PyVision, un marco interactivo y de múltiples turnos que permite a los MLLM generar, ejecutar y refinar de manera autónoma herramientas basadas en Python adaptadas a la tarea en cuestión, desbloqueando una resolución de problemas flexible e interpretable. Desarrollamos una taxonomía de las herramientas creadas por PyVision y analizamos su uso en un conjunto diverso de benchmarks. Cuantitativamente, PyVision logra mejoras consistentes en el rendimiento, aumentando GPT-4.1 en un +7.8% en V* y Claude-4.0-Sonnet en un +31.1% en VLMsAreBlind-mini. Estos resultados apuntan a un cambio más amplio: las herramientas dinámicas permiten a los modelos no solo usar herramientas, sino inventarlas, avanzando hacia un razonamiento visual más agentivo.

English

LLMs are increasingly deployed as agents, systems capable of planning, reasoning, and dynamically calling external tools. However, in visual reasoning, prior approaches largely remain limited by predefined workflows and static toolsets. In this report, we present PyVision, an interactive, multi-turn framework that enables MLLMs to autonomously generate, execute, and refine Python-based tools tailored to the task at hand, unlocking flexible and interpretable problem-solving. We develop a taxonomy of the tools created by PyVision and analyze their usage across a diverse set of benchmarks. Quantitatively, PyVision achieves consistent performance gains, boosting GPT-4.1 by +7.8% on V* and Claude-4.0-Sonnet by +31.1% on VLMsAreBlind-mini. These results point to a broader shift: dynamic tooling allows models not just to use tools, but to invent them, advancing toward more agentic visual reasoning.