SketchAgent: Генерация последовательных набросков на основе языка

SketchAgent: Language-Driven Sequential Sketch Generation

November 26, 2024

Авторы: Yael Vinker, Tamar Rott Shaham, Kristine Zheng, Alex Zhao, Judith E Fan, Antonio Torralba

cs.AI

Аннотация

Скетчинг служит универсальным инструментом для внешней фиксации идей, обеспечивая быстрое исследование и визуальное общение, охватывающее различные дисциплины. В то время как искусственные системы привели к значительным прорывам в создании контента и взаимодействии человека с компьютером, захват динамичной и абстрактной природы человеческого скетчинга остается сложной задачей. В данной работе мы представляем SketchAgent, метод генерации скетчей последовательным образом, управляемый языком, который позволяет пользователям создавать, изменять и улучшать скетчи через динамичное, разговорное взаимодействие. Наш подход не требует обучения или тонкой настройки. Вместо этого мы используем последовательную природу и обширные предварительные знания моделей языка с многомодальностью "из коробки". Мы представляем интуитивный язык скетчинга, введенный в модель через примеры в контексте, позволяя ей "рисовать" с использованием действий на основе строк. Они обрабатываются в векторную графику, а затем отображаются для создания скетча на пиксельном холсте, который затем можно снова использовать для дальнейших задач. Рисуя штрих за штрихом, наш агент захватывает изменчивые, динамичные качества, присущие скетчингу. Мы демонстрируем, что SketchAgent может генерировать скетчи по разнообразным подсказкам, участвовать в рисовании, управляемом диалогом, и взаимодействовать с людьми в значимой мере.

English

Sketching serves as a versatile tool for externalizing ideas, enabling rapid exploration and visual communication that spans various disciplines. While artificial systems have driven substantial advances in content creation and human-computer interaction, capturing the dynamic and abstract nature of human sketching remains challenging. In this work, we introduce SketchAgent, a language-driven, sequential sketch generation method that enables users to create, modify, and refine sketches through dynamic, conversational interactions. Our approach requires no training or fine-tuning. Instead, we leverage the sequential nature and rich prior knowledge of off-the-shelf multimodal large language models (LLMs). We present an intuitive sketching language, introduced to the model through in-context examples, enabling it to "draw" using string-based actions. These are processed into vector graphics and then rendered to create a sketch on a pixel canvas, which can be accessed again for further tasks. By drawing stroke by stroke, our agent captures the evolving, dynamic qualities intrinsic to sketching. We demonstrate that SketchAgent can generate sketches from diverse prompts, engage in dialogue-driven drawing, and collaborate meaningfully with human users.