Insegnare a un Agente a Disegnare una Parte alla Volta

Teaching an Agent to Sketch One Part at a Time

March 19, 2026

Autori: Xiaodan Du, Ruize Xu, David Yunis, Yael Vinker, Greg Shakhnarovich

cs.AI

Abstract

Sviluppiamo un metodo per produrre schizzi vettoriali una parte alla volta. A tal fine, addestriamo un agente basato su un modello linguistico multimodale utilizzando un innovativo processo di reinforcement learning multi-turn con ricompensa basata sul processo, successivo ad una messa a punto supervisionata. Il nostro approccio è reso possibile da un nuovo dataset che chiamiamo ControlSketch-Part, contenente ricche annotazioni a livello di parte per gli schizzi, ottenute tramite una nuova e generica pipeline di annotazione automatica che segmenta gli schizzi vettoriali in parti semantiche e assegna i tracciati alle parti con un processo di etichettatura strutturato e multi-stadio. I nostri risultati indicano che l'incorporazione di dati strutturati a livello di parte e la fornitura di feedback visivo all'agente durante il processo abilitano una generazione di schizzi vettoriali da testo interpretabile, controllabile e localmente modificabile.

English

We develop a method for producing vector sketches one part at a time. To do this, we train a multi-modal language model-based agent using a novel multi-turn process-reward reinforcement learning following supervised fine-tuning. Our approach is enabled by a new dataset we call ControlSketch-Part, containing rich part-level annotations for sketches, obtained using a novel, generic automatic annotation pipeline that segments vector sketches into semantic parts and assigns paths to parts with a structured multi-stage labeling process. Our results indicate that incorporating structured part-level data and providing agent with the visual feedback through the process enables interpretable, controllable, and locally editable text-to-vector sketch generation.