PyVision: 動的ツーリングによるエージェント的ビジョン

PyVision: Agentic Vision with Dynamic Tooling

July 10, 2025

著者: Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Ming Li, Qilong Wu, Kaipeng Zhang, Chen Wei

cs.AI

要旨

LLM（大規模言語モデル）は、計画、推論、外部ツールの動的呼び出しが可能なエージェントとしてますます展開されています。しかし、視覚的推論において、従来のアプローチは主に事前定義されたワークフローと静的なツールセットに制限されています。本報告では、PyVisionというインタラクティブでマルチターンのフレームワークを紹介します。PyVisionは、MLLM（マルチモーダル大規模言語モデル）がタスクに応じてPythonベースのツールを自律的に生成、実行、改良することを可能にし、柔軟で解釈可能な問題解決を実現します。PyVisionによって作成されたツールの分類体系を開発し、多様なベンチマークにおけるその使用状況を分析します。定量的には、PyVisionは一貫した性能向上を達成し、GPT-4.1ではV*で+7.8%、Claude-4.0-SonnetではVLMsAreBlind-miniで+31.1%の向上を示しました。これらの結果は、動的なツーリングがモデルにツールを使用させるだけでなく、それらを発明させることを可能にし、よりエージェント的な視覚的推論に向けた進展を示唆しています。

English

LLMs are increasingly deployed as agents, systems capable of planning, reasoning, and dynamically calling external tools. However, in visual reasoning, prior approaches largely remain limited by predefined workflows and static toolsets. In this report, we present PyVision, an interactive, multi-turn framework that enables MLLMs to autonomously generate, execute, and refine Python-based tools tailored to the task at hand, unlocking flexible and interpretable problem-solving. We develop a taxonomy of the tools created by PyVision and analyze their usage across a diverse set of benchmarks. Quantitatively, PyVision achieves consistent performance gains, boosting GPT-4.1 by +7.8% on V* and Claude-4.0-Sonnet by +31.1% on VLMsAreBlind-mini. These results point to a broader shift: dynamic tooling allows models not just to use tools, but to invent them, advancing toward more agentic visual reasoning.