GenClaw: Generación Agentiva de Imágenes Impulsada por Código

Resumen

Los modelos de generación de imágenes han evolucionado desde la síntesis de píxeles condicionada por texto hacia agentes multimodales dotados de comprensión visual y capacidades de invocación de herramientas. Sin embargo, los agentes existentes siguen a merced de los modelos de imagen subyacentes de caja negra. Su flujo de trabajo queda atrapado en un ciclo repetitivo de reescritura de indicaciones para el refinamiento de la generación, sin ningún mecanismo para manipular directamente el lienzo. En esencia, el potencial de los LLM para servir como un "pincel" genuino para la construcción visual precisa sigue sin explotarse en gran medida. En este artículo, proponemos GenClaw, un paradigma de generación de imágenes agentivo impulsado por código que permite al agente crear como un artista humano: primero conceptualizar, luego dibujar y finalmente colorear. Específicamente, el agente primero construye el conocimiento conceptual y el contexto mediante búsqueda y razonamiento. Luego utiliza código (por ejemplo, SVG, HTML, Three.js) para representar bocetos visuales ejecutables. Finalmente, emplea un modelo de generación de imágenes para complementar texturas, materiales y fotorrealismo. En este flujo de trabajo, el código sirve como un lienzo intermedio controlable que une el razonamiento lingüístico y la síntesis de píxeles, integrando sin problemas la lógica programática con la expresividad visual de los modelos generativos. Al transformar la generación de imágenes de un paradigma de caja negra en un proceso por etapas similar a la creación humana auténtica, GenClaw ofrece un paso hacia sistemas de generación visual altamente controlables e interpretables.

English

Image generation models have evolved from text-conditioned pixel synthesis toward multimodal agents endowed with visual comprehension and tool invocation capabilities. Yet, existing agents remain at the mercy of underlying black-box image models. Their workflow is trapped in a repetitive cycle of prompt rewriting for generation refinement, leaving them with no mechanism to directly manipulate the canvas. In essence, the potential of LLMs to serve as a genuine "brush" for precise visual construction remains largely untapped. In this paper, we propose GenClaw, a code-driven agentic image generation paradigm that empowers the agent to create like a human artist: first conceptualizing, then sketching, and finally coloring. Specifically, the agent first constructs the conceptual knowledge and context through search and reasoning. It then utilizes code (e.g., SVG, HTML, Three.js) to render executable visual sketches. Finally, it employs an image generation model to supplement textures, materials, and photorealism. In this workflow, code serves as a controllable intermediate canvas bridging linguistic reasoning and pixel synthesis, seamlessly integrating programmatic logic with the visual expressiveness of generative models. By transforming image generation from a black-box paradigm into a staged process akin to authentic human creation, GenClaw offers a step toward for highly controllable and interpretable visual generation systems.