GenClaw: Codegesteuerte agentische Bildgenerierung

Zusammenfassung

Bildgenerierungsmodelle haben sich von textgesteuerter Pixelsynthese hin zu multimodalen Agenten entwickelt, die mit visuellem Verständnis und der Fähigkeit zum Werkzeugaufruf ausgestattet sind. Dennoch bleiben bestehende Agenten den zugrunde liegenden Blackbox-Bildmodellen ausgeliefert. Ihr Arbeitsablauf steckt in einem repetitiven Kreislauf aus Prompt-Umschreibung zur Generierungsverfeinerung fest, ohne dass sie einen Mechanismus besitzen, um direkt auf die Leinwand einzuwirken. Im Kern bleibt das Potenzial von LLMs, als ehrlicher „Pinsel“ für präzise visuelle Konstruktion zu dienen, weitgehend ungenutzt. In dieser Arbeit schlagen wir GenClaw vor, ein codegetriebenes agentisches Bildgenerierungsparadigma, das den Agenten befähigt, wie ein menschlicher Künstler zu schaffen: zunächst konzeptualisieren, dann skizzieren und schließlich kolorieren. Konkret konstruiert der Agent zunächst das konzeptuelle Wissen und den Kontext durch Suche und Schlussfolgerung. Anschließend nutzt er Code (z. B. SVG, HTML, Three.js), um ausführbare visuelle Skizzen zu rendern. Schließlich setzt er ein Bildgenerierungsmodell ein, um Texturen, Materialien und Fotorealismus zu ergänzen. In diesem Arbeitsablauf dient Code als kontrollierbare Zwischenleinwand, die linguistische Argumentation und Pixelsynthese verbindet und programmatische Logik nahtlos mit der visuellen Ausdruckskraft generativer Modelle integriert. Indem GenClaw die Bildgenerierung von einem Blackbox-Paradigma in einen stufenweisen Prozess verwandelt, der der authentischen menschlichen Schöpfung gleicht, bietet es einen Schritt hin zu hoch kontrollierbaren und interpretierbaren visuellen Generierungssystemen.

English

Image generation models have evolved from text-conditioned pixel synthesis toward multimodal agents endowed with visual comprehension and tool invocation capabilities. Yet, existing agents remain at the mercy of underlying black-box image models. Their workflow is trapped in a repetitive cycle of prompt rewriting for generation refinement, leaving them with no mechanism to directly manipulate the canvas. In essence, the potential of LLMs to serve as a genuine "brush" for precise visual construction remains largely untapped. In this paper, we propose GenClaw, a code-driven agentic image generation paradigm that empowers the agent to create like a human artist: first conceptualizing, then sketching, and finally coloring. Specifically, the agent first constructs the conceptual knowledge and context through search and reasoning. It then utilizes code (e.g., SVG, HTML, Three.js) to render executable visual sketches. Finally, it employs an image generation model to supplement textures, materials, and photorealism. In this workflow, code serves as a controllable intermediate canvas bridging linguistic reasoning and pixel synthesis, seamlessly integrating programmatic logic with the visual expressiveness of generative models. By transforming image generation from a black-box paradigm into a staged process akin to authentic human creation, GenClaw offers a step toward for highly controllable and interpretable visual generation systems.