Qwen-Image-Agent: Het overbruggen van de contextkloof bij realistische beeldgeneratie

Samenvatting

Hoewel tekst-naar-beeld (T2I)-modellen opmerkelijke vooruitgang hebben geboekt, worstelen ze met realistische verzoeken die vaak onvoldoende gespecificeerd, impliciet of afhankelijk van actuele kennis zijn. Wij identificeren deze uitdaging als de Contextkloof: de mismatch tussen de gebruikerscontext en de toereikende generatiecontext voor T2I-modellen. Om deze kloof te overbruggen, stellen we Qwen-Image-Agent voor, een uniform agentisch raamwerk dat plan, redenering, zoekopdracht, geheugen en feedback integreert op een contextgerichte manier. Qwen-Image-Agent behandelt gebruikersinvoer als gedeeltelijke context en bouwt de generatiecontext stapsgewijs op door middel van Contextbewuste Planning en Contextverankering. Specifiek identificeert Contextbewuste Planning ontbrekende context en plant hoe deze moet worden verworven en gebruikt, terwijl Contextverankering deze context verzamelt via redenering, zoekopdracht, geheugen en feedback. Om agentische beeldgeneratie te evalueren, introduceren we verder Image Agent Bench (IA-Bench), een benchmark die vier kerncapaciteiten van beeldagenten dekt: Plannen, Redeneren, Zoeken en Geheugen. Experimenten op IA-Bench, Mindbench en WISE-Verified tonen aan dat Qwen-Image-Agent sterke basislijnen overtreft en state-of-the-art prestaties levert.

English

While text-to-image (T2I) models have achieved remarkable progress, they struggle with real-world requests that are often underspecified, implicit, or dependent on up-to-date knowledge. We identify this challenge as the Context Gap: the mismatch between the user context and the sufficient generation context for T2I models. To bridge this gap, we propose Qwen-Image-Agent, a unified agentic framework that integrates plan, reason, search, memory and feedback in a context-centric manner. Qwen-Image-Agent treats user input as partial context and progressively constructs the generation context through Context-Aware Planning and Context Grounding. Specifically, Context-Aware Planning identifies missing context and plans how it should be acquired and used, while Context Grounding gathers this context from reason, search, memory, and feedback. To evaluate agentic image generation, we further introduce Image Agent Bench (IA-Bench), a benchmark covering four core image agent capabilities: Plan, Reason, Search, and Memory. Experiments on IA-Bench, Mindbench and WISE-Verified show that Qwen-Image-Agent outperforms strong baselines and achieves state-of-the-art performance.