Обучение агента рисованию по одному элементу за раз
Teaching an Agent to Sketch One Part at a Time
March 19, 2026
Авторы: Xiaodan Du, Ruize Xu, David Yunis, Yael Vinker, Greg Shakhnarovich
cs.AI
Аннотация
Мы разрабатываем метод поэтапного создания векторных скетчей. Для этого мы обучаем мультимодального агента на основе языковой модели с использованием нового многошагового обучения с подкреплением по процессуальным вознаграждениям после контролируемого тонкого настроя. Наш подход стал возможным благодаря новому набору данных ControlSketch-Part, содержащему детальные аннотации на уровне частей скетчей, полученные с помощью универсального автоматизированного пайплайна аннотирования, который сегментирует векторные скетчи на семантические части и присваивает пути к частям посредством структурированного многоэтапного процесса разметки. Наши результаты показывают, что включение структурированных данных на уровне частей и предоставление агенту визуальной обратной связи в процессе работы обеспечивает интерпретируемое, контролируемое и локально редактируемое преобразование текста в векторный скетч.
English
We develop a method for producing vector sketches one part at a time. To do this, we train a multi-modal language model-based agent using a novel multi-turn process-reward reinforcement learning following supervised fine-tuning. Our approach is enabled by a new dataset we call ControlSketch-Part, containing rich part-level annotations for sketches, obtained using a novel, generic automatic annotation pipeline that segments vector sketches into semantic parts and assigns paths to parts with a structured multi-stage labeling process. Our results indicate that incorporating structured part-level data and providing agent with the visual feedback through the process enables interpretable, controllable, and locally editable text-to-vector sketch generation.