SketchAgent: Generación de Bocetos Secuenciales Dirigida por Lenguaje

SketchAgent: Language-Driven Sequential Sketch Generation

November 26, 2024

Autores: Yael Vinker, Tamar Rott Shaham, Kristine Zheng, Alex Zhao, Judith E Fan, Antonio Torralba

cs.AI

Resumen

El bocetaje sirve como una herramienta versátil para externalizar ideas, permitiendo una exploración rápida y comunicación visual que abarca diversas disciplinas. Si bien los sistemas artificiales han impulsado avances sustanciales en la creación de contenido y la interacción humano-computadora, capturar la naturaleza dinámica y abstracta del bocetaje humano sigue siendo un desafío. En este trabajo, presentamos SketchAgent, un método de generación de bocetos secuencial impulsado por lenguaje que permite a los usuarios crear, modificar y refinar bocetos a través de interacciones dinámicas y conversacionales. Nuestro enfoque no requiere entrenamiento ni ajuste fino. En su lugar, aprovechamos la naturaleza secuencial y el rico conocimiento previo de modelos de lenguaje multimodales grandes (LLMs) listos para usar. Presentamos un lenguaje de bocetaje intuitivo, introducido al modelo a través de ejemplos en contexto, permitiéndole "dibujar" utilizando acciones basadas en cadenas. Estas acciones se procesan en gráficos vectoriales y luego se representan para crear un boceto en un lienzo de píxeles, que puede ser accedido nuevamente para tareas adicionales. Al dibujar trazo a trazo, nuestro agente captura las cualidades evolutivas y dinámicas intrínsecas al bocetaje. Demostramos que SketchAgent puede generar bocetos a partir de diversos estímulos, participar en dibujos impulsados por diálogo y colaborar significativamente con usuarios humanos.

English

Sketching serves as a versatile tool for externalizing ideas, enabling rapid exploration and visual communication that spans various disciplines. While artificial systems have driven substantial advances in content creation and human-computer interaction, capturing the dynamic and abstract nature of human sketching remains challenging. In this work, we introduce SketchAgent, a language-driven, sequential sketch generation method that enables users to create, modify, and refine sketches through dynamic, conversational interactions. Our approach requires no training or fine-tuning. Instead, we leverage the sequential nature and rich prior knowledge of off-the-shelf multimodal large language models (LLMs). We present an intuitive sketching language, introduced to the model through in-context examples, enabling it to "draw" using string-based actions. These are processed into vector graphics and then rendered to create a sketch on a pixel canvas, which can be accessed again for further tasks. By drawing stroke by stroke, our agent captures the evolving, dynamic qualities intrinsic to sketching. We demonstrate that SketchAgent can generate sketches from diverse prompts, engage in dialogue-driven drawing, and collaborate meaningfully with human users.