Qwen-Image-Agent: Preenchendo a Lacuna de Contexto na Geração de Imagens do Mundo Real

Resumo

Embora os modelos texto-para-imagem (T2I) tenham alcançado progressos notáveis, eles enfrentam dificuldades com solicitações reais que são frequentemente subespecificadas, implícitas ou dependentes de conhecimento atualizado. Identificamos esse desafio como a Lacuna de Contexto: a incompatibilidade entre o contexto do usuário e o contexto de geração suficiente para modelos T2I. Para preencher essa lacuna, propomos o Qwen-Image-Agent, um arcabouço agêntico unificado que integra planejamento, raciocínio, busca, memória e feedback de maneira centrada no contexto. O Qwen-Image-Agent trata a entrada do usuário como contexto parcial e constrói progressivamente o contexto de geração por meio do Planejamento Consciente de Contexto e da Fundamentação de Contexto. Especificamente, o Planejamento Consciente de Contexto identifica o contexto ausente e planeja como ele deve ser adquirido e utilizado, enquanto a Fundamentação de Contexto coleta esse contexto a partir de raciocínio, busca, memória e feedback. Para avaliar a geração de imagens baseada em agentes, introduzimos o Image Agent Bench (IA-Bench), um benchmark que abrange quatro capacidades centrais do agente de imagem: Planejamento, Raciocínio, Busca e Memória. Experimentos no IA-Bench, Mindbench e WISE-Verified mostram que o Qwen-Image-Agent supera linhas de base fortes e alcança desempenho estado da arte.

English

While text-to-image (T2I) models have achieved remarkable progress, they struggle with real-world requests that are often underspecified, implicit, or dependent on up-to-date knowledge. We identify this challenge as the Context Gap: the mismatch between the user context and the sufficient generation context for T2I models. To bridge this gap, we propose Qwen-Image-Agent, a unified agentic framework that integrates plan, reason, search, memory and feedback in a context-centric manner. Qwen-Image-Agent treats user input as partial context and progressively constructs the generation context through Context-Aware Planning and Context Grounding. Specifically, Context-Aware Planning identifies missing context and plans how it should be acquired and used, while Context Grounding gathers this context from reason, search, memory, and feedback. To evaluate agentic image generation, we further introduce Image Agent Bench (IA-Bench), a benchmark covering four core image agent capabilities: Plan, Reason, Search, and Memory. Experiments on IA-Bench, Mindbench and WISE-Verified show that Qwen-Image-Agent outperforms strong baselines and achieves state-of-the-art performance.