Qwen-Image-Agent: Überbrückung der Kontextlücke bei der Bildgenerierung in der realen Welt

Zusammenfassung

Während Text-zu-Bild-Modelle (T2I) bemerkenswerte Fortschritte erzielt haben, tun sie sich schwer mit realen Anwendungen, die oft unterbestimmt, implizit oder von aktuellem Wissen abhängig sind. Wir identifizieren diese Herausforderung als die Kontextlücke: die Diskrepanz zwischen dem Nutzerkontext und dem für die Erzeugung ausreichenden Kontext für T2I-Modelle. Um diese Lücke zu schließen, schlagen wir Qwen-Image-Agent vor, ein einheitliches agentisches Framework, das Planung, Logik, Suche, Gedächtnis und Rückmeldung kontextzentriert integriert. Qwen-Image-Agent behandelt Nutzereingaben als partiellen Kontext und konstruiert den Generationskontext schrittweise durch kontextbewusste Planung und Kontextverankerung. Insbesondere identifiziert die kontextbewusste Planung fehlenden Kontext und plant, wie dieser erlangt und genutzt werden soll, während die Kontextverankerung diesen Kontext aus Logik, Suche, Gedächtnis und Rückmeldung zusammenträgt. Zur Bewertung der agentischen Bildgenerierung führen wir ferner den Image Agent Bench (IA-Bench) ein, einen Benchmark, der vier Kernfähigkeiten von Bildagenten abdeckt: Planen, Logik, Suche und Gedächtnis. Experimente auf IA-Bench, Mindbench und WISE-Verified zeigen, dass Qwen-Image-Agent starke Baselines übertrifft und den neuesten Stand der Technik erreicht.

English

While text-to-image (T2I) models have achieved remarkable progress, they struggle with real-world requests that are often underspecified, implicit, or dependent on up-to-date knowledge. We identify this challenge as the Context Gap: the mismatch between the user context and the sufficient generation context for T2I models. To bridge this gap, we propose Qwen-Image-Agent, a unified agentic framework that integrates plan, reason, search, memory and feedback in a context-centric manner. Qwen-Image-Agent treats user input as partial context and progressively constructs the generation context through Context-Aware Planning and Context Grounding. Specifically, Context-Aware Planning identifies missing context and plans how it should be acquired and used, while Context Grounding gathers this context from reason, search, memory, and feedback. To evaluate agentic image generation, we further introduce Image Agent Bench (IA-Bench), a benchmark covering four core image agent capabilities: Plan, Reason, Search, and Memory. Experiments on IA-Bench, Mindbench and WISE-Verified show that Qwen-Image-Agent outperforms strong baselines and achieves state-of-the-art performance.