Qwen-Image-Agent: Преодоление контекстного разрыва в генерации изображений реального мира

Аннотация

Хотя модели текст-в-изображение (T2I) достигли значительных успехов, они сталкиваются с трудностями при обработке запросов из реального мира, которые часто являются недоопределёнными, неявными или зависят от актуальных знаний. Мы определяем эту проблему как Контекстный Разрыв: несоответствие между пользовательским контекстом и достаточным контекстом генерации для T2I-моделей. Для преодоления этого разрыва мы предлагаем Qwen-Image-Agent — единую агентную структуру, которая интегрирует планирование, рассуждение, поиск, память и обратную связь контекстно-ориентированным образом. Qwen-Image-Agent рассматривает пользовательский ввод как частичный контекст и последовательно строит контекст генерации посредством Контекстно-Осознанного Планирования и Контекстного Обоснования. В частности, Контекстно-Осознанное Планирование выявляет отсутствующий контекст и планирует, как его следует получить и использовать, в то время как Контекстное Обоснование собирает этот контекст из рассуждений, поиска, памяти и обратной связи. Для оценки агентной генерации изображений мы дополнительно представляем Image Agent Bench (IA-Bench) — эталон, охватывающий четыре ключевые способности агента изображений: Планирование, Рассуждение, Поиск и Память. Эксперименты на IA-Bench, Mindbench и WISE-Verified показывают, что Qwen-Image-Agent превосходит сильные базовые модели и достигает современного уровня производительности.

English

While text-to-image (T2I) models have achieved remarkable progress, they struggle with real-world requests that are often underspecified, implicit, or dependent on up-to-date knowledge. We identify this challenge as the Context Gap: the mismatch between the user context and the sufficient generation context for T2I models. To bridge this gap, we propose Qwen-Image-Agent, a unified agentic framework that integrates plan, reason, search, memory and feedback in a context-centric manner. Qwen-Image-Agent treats user input as partial context and progressively constructs the generation context through Context-Aware Planning and Context Grounding. Specifically, Context-Aware Planning identifies missing context and plans how it should be acquired and used, while Context Grounding gathers this context from reason, search, memory, and feedback. To evaluate agentic image generation, we further introduce Image Agent Bench (IA-Bench), a benchmark covering four core image agent capabilities: Plan, Reason, Search, and Memory. Experiments on IA-Bench, Mindbench and WISE-Verified show that Qwen-Image-Agent outperforms strong baselines and achieves state-of-the-art performance.