SketchAgent: Geração Sequencial de Esboços Orientada por Linguagem

SketchAgent: Language-Driven Sequential Sketch Generation

November 26, 2024

Autores: Yael Vinker, Tamar Rott Shaham, Kristine Zheng, Alex Zhao, Judith E Fan, Antonio Torralba

cs.AI

Resumo

O esboço serve como uma ferramenta versátil para externalizar ideias, permitindo uma exploração rápida e comunicação visual que abrange várias disciplinas. Enquanto sistemas artificiais impulsionaram avanços substanciais na criação de conteúdo e interação humano-computador, capturar a natureza dinâmica e abstrata do esboço humano ainda é desafiador. Neste trabalho, apresentamos o SketchAgent, um método de geração de esboços sequencial orientado por linguagem que permite aos usuários criar, modificar e refinar esboços por meio de interações dinâmicas e conversacionais. Nossa abordagem não requer treinamento ou ajustes finos. Em vez disso, aproveitamos a natureza sequencial e o rico conhecimento prévio dos modelos de linguagem multimodais grandes disponíveis no mercado. Apresentamos uma linguagem intuitiva de esboço, introduzida ao modelo por meio de exemplos em contexto, permitindo que ele "desenhe" usando ações baseadas em strings. Essas ações são processadas em gráficos vetoriais e depois renderizadas para criar um esboço em um canvas de pixels, que pode ser acessado novamente para tarefas adicionais. Ao desenhar traço a traço, nosso agente captura as qualidades dinâmicas e em evolução inerentes ao esboço. Demonstramos que o SketchAgent pode gerar esboços a partir de prompts diversos, se envolver em desenhos orientados por diálogo e colaborar significativamente com usuários humanos.

English

Sketching serves as a versatile tool for externalizing ideas, enabling rapid exploration and visual communication that spans various disciplines. While artificial systems have driven substantial advances in content creation and human-computer interaction, capturing the dynamic and abstract nature of human sketching remains challenging. In this work, we introduce SketchAgent, a language-driven, sequential sketch generation method that enables users to create, modify, and refine sketches through dynamic, conversational interactions. Our approach requires no training or fine-tuning. Instead, we leverage the sequential nature and rich prior knowledge of off-the-shelf multimodal large language models (LLMs). We present an intuitive sketching language, introduced to the model through in-context examples, enabling it to "draw" using string-based actions. These are processed into vector graphics and then rendered to create a sketch on a pixel canvas, which can be accessed again for further tasks. By drawing stroke by stroke, our agent captures the evolving, dynamic qualities intrinsic to sketching. We demonstrate that SketchAgent can generate sketches from diverse prompts, engage in dialogue-driven drawing, and collaborate meaningfully with human users.