SketchAgent : Génération de croquis séquentielle basée sur le langage

SketchAgent: Language-Driven Sequential Sketch Generation

November 26, 2024

Auteurs: Yael Vinker, Tamar Rott Shaham, Kristine Zheng, Alex Zhao, Judith E Fan, Antonio Torralba

cs.AI

Résumé

Le croquis sert d'outil polyvalent pour externaliser des idées, permettant une exploration rapide et une communication visuelle qui couvre diverses disciplines. Alors que les systèmes artificiels ont entraîné des avancées substantielles dans la création de contenu et l'interaction homme-machine, capturer la nature dynamique et abstraite du croquis humain reste un défi. Dans ce travail, nous présentons SketchAgent, une méthode de génération de croquis séquentielle pilotée par le langage qui permet aux utilisateurs de créer, modifier et affiner des croquis à travers des interactions dynamiques et conversationnelles. Notre approche ne nécessite aucun entraînement ni aucun ajustement fin. Au lieu de cela, nous exploitons la nature séquentielle et la riche connaissance préalable des modèles de langage multimodaux larges (LLM) prêts à l'emploi. Nous présentons un langage de croquis intuitif, introduit au modèle à travers des exemples en contexte, lui permettant de "dessiner" en utilisant des actions basées sur des chaînes. Celles-ci sont traitées en graphiques vectoriels, puis rendues pour créer un croquis sur un canevas de pixels, qui peut être de nouveau consulté pour d'autres tâches. En dessinant trait par trait, notre agent capture les qualités évolutives et dynamiques intrinsèques au croquis. Nous démontrons que SketchAgent peut générer des croquis à partir de diverses incitations, s'engager dans un dessin piloté par le dialogue et collaborer de manière significative avec les utilisateurs humains.

English

Sketching serves as a versatile tool for externalizing ideas, enabling rapid exploration and visual communication that spans various disciplines. While artificial systems have driven substantial advances in content creation and human-computer interaction, capturing the dynamic and abstract nature of human sketching remains challenging. In this work, we introduce SketchAgent, a language-driven, sequential sketch generation method that enables users to create, modify, and refine sketches through dynamic, conversational interactions. Our approach requires no training or fine-tuning. Instead, we leverage the sequential nature and rich prior knowledge of off-the-shelf multimodal large language models (LLMs). We present an intuitive sketching language, introduced to the model through in-context examples, enabling it to "draw" using string-based actions. These are processed into vector graphics and then rendered to create a sketch on a pixel canvas, which can be accessed again for further tasks. By drawing stroke by stroke, our agent captures the evolving, dynamic qualities intrinsic to sketching. We demonstrate that SketchAgent can generate sketches from diverse prompts, engage in dialogue-driven drawing, and collaborate meaningfully with human users.