Qwen-Image-Agent: Cerrando la brecha de contexto en la generación de imágenes del mundo real

Resumen

Aunque los modelos de texto a imagen (T2I) han logrado avances notables, presentan dificultades con solicitudes del mundo real que a menudo son poco especificadas, implícitas o dependientes de conocimiento actualizado. Identificamos este desafío como la Brecha de Contexto: el desajuste entre el contexto del usuario y el contexto de generación suficiente para los modelos T2I. Para superar esta brecha, proponemos Qwen-Image-Agent, un marco de agente unificado que integra planificación, razonamiento, búsqueda, memoria y retroalimentación de manera centrada en el contexto. Qwen-Image-Agent trata la entrada del usuario como contexto parcial y construye progresivamente el contexto de generación mediante Planificación Consciente del Contexto y Anclaje de Contexto. Específicamente, la Planificación Consciente del Contexto identifica el contexto faltante y planifica cómo debe adquirirse y utilizarse, mientras que el Anclaje de Contexto reúne este contexto a partir del razonamiento, la búsqueda, la memoria y la retroalimentación. Para evaluar la generación de imágenes basada en agentes, también presentamos Image Agent Bench (IA-Bench), un punto de referencia que cubre cuatro capacidades centrales del agente de imágenes: Planificar, Razonar, Buscar y Recordar. Los experimentos en IA-Bench, Mindbench y WISE-Verified muestran que Qwen-Image-Agent supera a los modelos base potentes y logra un rendimiento de vanguardia.

English

While text-to-image (T2I) models have achieved remarkable progress, they struggle with real-world requests that are often underspecified, implicit, or dependent on up-to-date knowledge. We identify this challenge as the Context Gap: the mismatch between the user context and the sufficient generation context for T2I models. To bridge this gap, we propose Qwen-Image-Agent, a unified agentic framework that integrates plan, reason, search, memory and feedback in a context-centric manner. Qwen-Image-Agent treats user input as partial context and progressively constructs the generation context through Context-Aware Planning and Context Grounding. Specifically, Context-Aware Planning identifies missing context and plans how it should be acquired and used, while Context Grounding gathers this context from reason, search, memory, and feedback. To evaluate agentic image generation, we further introduce Image Agent Bench (IA-Bench), a benchmark covering four core image agent capabilities: Plan, Reason, Search, and Memory. Experiments on IA-Bench, Mindbench and WISE-Verified show that Qwen-Image-Agent outperforms strong baselines and achieves state-of-the-art performance.