ToolArtist: 에이전트형 이미지 생성을 위한 도구 활용 통합 멀티모달 모델

초록

텍스트-이미지(T2I) 모델은 시각적으로 매력적인 이미지를 생성할 수 있지만, 복잡한 의미 이해, 다단계 추론, 외부 세계 지식의 통합을 요구하는 오픈월드(open-world) 작업에서는 여전히 한계를 보인다. 기존 연구들은 이미지 생성에 에이전트 능력을 도입하고자 했으나, 고정된 작업 흐름을 규정하거나 오픈월드 이미지 생성 과정의 일부만 에이전트 제어 하에 두었다. 그 결과 추론, 도구 호출, 이미지 생성이 단일 정책에 의해 조정되지 못했다. 우리는 통합 멀티모달 모델(UMM)을 사후 훈련하여 얻은 완전 에이전트형(fully agentic) 이미지 생성 모델인 ToolArtist를 제안한다. ToolArtist는 하나의 통합 정책 내에서 추론, 외부 도구 사용, 자체 이미지 생성을 동적으로 조율한다. 지도 미세 조정(SFT) 단계에서는 교사 에이전트에 이미지 생성 도구와 함께 검색 도구를 장착한다. 이후 수집된 궤적을 UMM 호환 형식으로 변환하는데, 이때 이미지 생성 도구는 숨기고 생성된 결과 이미지만 유지한다. 강화 학습(RL) 단계에서는 UMM을 위한 에이전트형 RL 인프라를 개발하고, 상호 보완적인 의도(intent) 보상과 품질 보상을 사용하여 모델을 공동 최적화하는 RAD-GRPO(Reason-Act-Draw GRPO)를 도입한다. 실험 결과, 오픈월드 이미지 생성 과정 전체를 에이전트 정책에 맡기는 것이 고정된 파이프라인이나 부분적으로만 에이전트가 제어하는 구성 요소를 사용하는 접근법보다 일관되게 우수함을 보여준다. 우리는 훈련 데이터와 전체 사후 훈련 인프라를 공개한다.

English

Text-to-image (T2I) models can produce visually compelling images, yet they remain limited on open-world tasks that require complex semantic understanding, multi-step reasoning, and the integration of external world knowledge. Existing efforts introduce agent capabilities into image generation, but they either prescribe a fixed workflow or place only a subset of the open-world image generation process under agent control. Consequently, reasoning, tool invocation, and image generation are not coordinated by a single policy. We propose ToolArtist, a fully agentic image generation model obtained by post-training a Unified Multimodal Model (UMM). ToolArtist dynamically orchestrates reasoning, external tool use, and native image generation within one unified policy. During Supervised Fine-Tuning (SFT), we equip a teacher agent with search tools alongside an image-generation tool. We then convert the collected trajectories into a UMM compatible format, where the image-generation tool is concealed while the resulting generated images are retained. During Reinforcement Learning (RL), we develop an agentic RL infrastructure for UMMs and introduce Reason-Act-Draw GRPO (RAD-GRPO), which uses complementary intent and quality rewards to jointly optimize the model. Experiments show that placing the entire open-world image-generation process under an agent policy consistently outperforms approaches with fixed pipelines or only partially agent-controlled components. We release the training data and the complete post-training infrastructure.