SketchAgent: Sprachgesteuerte sequenzielle Skizzenerzeugung

SketchAgent: Language-Driven Sequential Sketch Generation

November 26, 2024

Autoren: Yael Vinker, Tamar Rott Shaham, Kristine Zheng, Alex Zhao, Judith E Fan, Antonio Torralba

cs.AI

Zusammenfassung

Skizzieren dient als vielseitiges Werkzeug zur Externalisierung von Ideen, das eine schnelle Exploration und visuelle Kommunikation ermöglicht, die verschiedene Disziplinen umfasst. Während künstliche Systeme bedeutende Fortschritte bei der Inhalts-Erstellung und der Mensch-Computer-Interaktion vorangetrieben haben, bleibt die Erfassung der dynamischen und abstrakten Natur des menschlichen Skizzierens eine Herausforderung. In dieser Arbeit stellen wir SketchAgent vor, eine sprachgesteuerte, sequenzielle Skizzenerzeugungsmethode, die es Benutzern ermöglicht, Skizzen durch dynamische, konversationelle Interaktionen zu erstellen, zu modifizieren und zu verfeinern. Unser Ansatz erfordert kein Training oder Feinabstimmung. Stattdessen nutzen wir die sequenzielle Natur und das umfangreiche Vorwissen von handelsüblichen multimodalen großen Sprachmodellen (LLMs). Wir präsentieren eine intuitive Skizziersprache, die dem Modell durch Beispiele im Kontext beigebracht wird, um es zu ermöglichen, mittels aktionsbasierten Zeichenbefehlen zu "zeichnen". Diese werden in Vektorgrafiken umgewandelt und dann gerendert, um eine Skizze auf einer Pixel-Leinwand zu erstellen, die später für weitere Aufgaben abgerufen werden kann. Indem unser Agent Strich für Strich zeichnet, erfasst er die sich entwickelnden, dynamischen Qualitäten, die dem Skizzieren innewohnen. Wir zeigen, dass SketchAgent Skizzen aus verschiedenen Anregungen generieren kann, sich in dialoggesteuertes Zeichnen einbinden kann und sinnvoll mit menschlichen Benutzern zusammenarbeiten kann.

English

Sketching serves as a versatile tool for externalizing ideas, enabling rapid exploration and visual communication that spans various disciplines. While artificial systems have driven substantial advances in content creation and human-computer interaction, capturing the dynamic and abstract nature of human sketching remains challenging. In this work, we introduce SketchAgent, a language-driven, sequential sketch generation method that enables users to create, modify, and refine sketches through dynamic, conversational interactions. Our approach requires no training or fine-tuning. Instead, we leverage the sequential nature and rich prior knowledge of off-the-shelf multimodal large language models (LLMs). We present an intuitive sketching language, introduced to the model through in-context examples, enabling it to "draw" using string-based actions. These are processed into vector graphics and then rendered to create a sketch on a pixel canvas, which can be accessed again for further tasks. By drawing stroke by stroke, our agent captures the evolving, dynamic qualities intrinsic to sketching. We demonstrate that SketchAgent can generate sketches from diverse prompts, engage in dialogue-driven drawing, and collaborate meaningfully with human users.