ToolArtist: エージェンティック画像生成のためのツール使用型統合マルチモーダルモデル

要旨

テキストから画像への（T2I）モデルは視覚的に説得力のある画像を生成できるが、複雑な意味理解、多段階推論、外部の世界知識の統合を必要とするオープンワールドタスクでは依然として限界がある。既存の取り組みでは、エージェント機能を画像生成に導入しているが、固定されたワークフローを規定するか、オープンワールド画像生成プロセスの一部のみをエージェント制御下に置くかのいずれかである。その結果、推論、ツール呼び出し、画像生成が単一のポリシーによって調整されることはない。我々は、統合マルチモーダルモデル（UMM）をポストトレーニングすることで得られる完全エージェント型の画像生成モデルであるToolArtistを提案する。ToolArtistは、推論、外部ツールの使用、ネイティブな画像生成を、単一の統合ポリシーの中で動的に調整する。教師ありファインチューニング（SFT）では、教師エージェントに画像生成ツールに加えて検索ツールを装備する。その後、収集した軌跡を、画像生成ツールが隠蔽され、生成された画像が保持されるUMM互換形式に変換する。強化学習（RL）では、UMM向けのエージェント型RLインフラストラクチャを開発し、補完的な意図報酬と品質報酬を用いてモデルを共同で最適化するReason-Act-Draw GRPO（RAD-GRPO）を導入する。実験では、オープンワールド画像生成プロセス全体をエージェントポリシーの下に置くことが、固定パイプラインや、部分的にのみエージェント制御された構成要素を持つアプローチを一貫して上回ることを示している。我々は、トレーニングデータと完全なポストトレーニングインフラストラクチャを公開する。

English

Text-to-image (T2I) models can produce visually compelling images, yet they remain limited on open-world tasks that require complex semantic understanding, multi-step reasoning, and the integration of external world knowledge. Existing efforts introduce agent capabilities into image generation, but they either prescribe a fixed workflow or place only a subset of the open-world image generation process under agent control. Consequently, reasoning, tool invocation, and image generation are not coordinated by a single policy. We propose ToolArtist, a fully agentic image generation model obtained by post-training a Unified Multimodal Model (UMM). ToolArtist dynamically orchestrates reasoning, external tool use, and native image generation within one unified policy. During Supervised Fine-Tuning (SFT), we equip a teacher agent with search tools alongside an image-generation tool. We then convert the collected trajectories into a UMM compatible format, where the image-generation tool is concealed while the resulting generated images are retained. During Reinforcement Learning (RL), we develop an agentic RL infrastructure for UMMs and introduce Reason-Act-Draw GRPO (RAD-GRPO), which uses complementary intent and quality rewards to jointly optimize the model. Experiments show that placing the entire open-world image-generation process under an agent policy consistently outperforms approaches with fixed pipelines or only partially agent-controlled components. We release the training data and the complete post-training infrastructure.