GenClaw: Управляемая кодом агентная генерация изображений

Аннотация

Модели генерации изображений эволюционировали от синтеза пикселей на основе текстовых условий к мультимодальным агентам, наделенным способностями визуального понимания и вызова инструментов. Однако существующие агенты остаются во власти базовых моделей изображений типа «черного ящика». Их рабочий процесс застревает в повторяющемся цикле переписывания промптов с целью улучшения генерации, не предоставляя механизмов для непосредственного манипулирования холстом. По сути, потенциал LLM как подлинной «кисти» для точного визуального конструирования остается в значительной степени нереализованным. В данной статье мы предлагаем GenClaw — управляемую кодом агентную парадигму генерации изображений, которая позволяет агенту творить подобно художнику-человеку: сначала концептуализировать, затем делать набросок и, наконец, раскрашивать. В частности, агент сначала формирует концептуальное знание и контекст посредством поиска и рассуждений. Затем он использует код (например, SVG, HTML, Three.js) для визуализации исполняемых набросков. Наконец, он применяет модель генерации изображений для добавления текстур, материалов и фотореализма. В этом рабочем процессе код служит управляемым промежуточным холстом, соединяющим лингвистические рассуждения и пиксельный синтез, бесшовно интегрируя программную логику с визуальной выразительностью генеративных моделей. Преобразуя генерацию изображений из парадигмы «черного ящика» в поэтапный процесс, напоминающий подлинное человеческое творчество, GenClaw делает шаг к высококонтролируемым и интерпретируемым системам визуальной генерации.

English

Image generation models have evolved from text-conditioned pixel synthesis toward multimodal agents endowed with visual comprehension and tool invocation capabilities. Yet, existing agents remain at the mercy of underlying black-box image models. Their workflow is trapped in a repetitive cycle of prompt rewriting for generation refinement, leaving them with no mechanism to directly manipulate the canvas. In essence, the potential of LLMs to serve as a genuine "brush" for precise visual construction remains largely untapped. In this paper, we propose GenClaw, a code-driven agentic image generation paradigm that empowers the agent to create like a human artist: first conceptualizing, then sketching, and finally coloring. Specifically, the agent first constructs the conceptual knowledge and context through search and reasoning. It then utilizes code (e.g., SVG, HTML, Three.js) to render executable visual sketches. Finally, it employs an image generation model to supplement textures, materials, and photorealism. In this workflow, code serves as a controllable intermediate canvas bridging linguistic reasoning and pixel synthesis, seamlessly integrating programmatic logic with the visual expressiveness of generative models. By transforming image generation from a black-box paradigm into a staged process akin to authentic human creation, GenClaw offers a step toward for highly controllable and interpretable visual generation systems.