Qwen-Image-Agent : combler le fossé contextuel dans la génération d'images du monde réel

Résumé

Bien que les modèles texte-vers-image (T2I) aient réalisé des progrès remarquables, ils peinent à traiter les requêtes du monde réel, souvent sous-spécifiées, implicites ou dépendantes de connaissances actualisées. Nous identifions ce défi comme le fossé contextuel : le décalage entre le contexte utilisateur et le contexte de génération suffisant pour les modèles T2I. Pour combler ce fossé, nous proposons Qwen-Image-Agent, un cadre agentif unifié qui intègre planification, raisonnement, recherche, mémoire et retour d'information de manière centrée sur le contexte. Qwen-Image-Agent traite l'entrée utilisateur comme un contexte partiel et construit progressivement le contexte de génération via une planification consciente du contexte et un ancrage contextuel. Plus précisément, la planification consciente du contexte identifie le contexte manquant et planifie la manière de l'acquérir et de l'utiliser, tandis que l'ancrage contextuel collecte ce contexte à partir du raisonnement, de la recherche, de la mémoire et du retour d'information. Pour évaluer la génération d'images agentive, nous présentons en outre Image Agent Bench (IA-Bench), un banc d'essai couvrant quatre capacités agentives fondamentales des images : Planification, Raisonnement, Recherche et Mémoire. Les expériences menées sur IA-Bench, Mindbench et WISE-Verified montrent que Qwen-Image-Agent surpasse les références solides et atteint des performances de pointe.

English

While text-to-image (T2I) models have achieved remarkable progress, they struggle with real-world requests that are often underspecified, implicit, or dependent on up-to-date knowledge. We identify this challenge as the Context Gap: the mismatch between the user context and the sufficient generation context for T2I models. To bridge this gap, we propose Qwen-Image-Agent, a unified agentic framework that integrates plan, reason, search, memory and feedback in a context-centric manner. Qwen-Image-Agent treats user input as partial context and progressively constructs the generation context through Context-Aware Planning and Context Grounding. Specifically, Context-Aware Planning identifies missing context and plans how it should be acquired and used, while Context Grounding gathers this context from reason, search, memory, and feedback. To evaluate agentic image generation, we further introduce Image Agent Bench (IA-Bench), a benchmark covering four core image agent capabilities: Plan, Reason, Search, and Memory. Experiments on IA-Bench, Mindbench and WISE-Verified show that Qwen-Image-Agent outperforms strong baselines and achieves state-of-the-art performance.