Enseñar a un agente a dibujar una parte a la vez

Resumen

Desarrollamos un método para producir bocetos vectoriales una parte a la vez. Para ello, entrenamos a un agente basado en un modelo de lenguaje multimodal mediante un novedoso proceso de aprendizaje por refuerzo con recompensa de proceso multi-etapa, tras un ajuste fino supervisado. Nuestro enfoque es posible gracias a un nuevo conjunto de datos que denominamos ControlSketch-Part, que contiene anotaciones ricas a nivel de parte para bocetos, obtenidas mediante una novedosa y genérica canalización de anotación automática que segmenta los bocetos vectoriales en partes semánticas y asigna rutas a las partes mediante un proceso de etiquetado estructurado multi-etapa. Nuestros resultados indican que la incorporación de datos estructurados a nivel de parte y la provisión de retroalimentación visual al agente durante el proceso permiten una generación de bocetos vectoriales a partir de texto que es interpretable, controlable y localmente editable.

English

We develop a method for producing vector sketches one part at a time. To do this, we train a multi-modal language model-based agent using a novel multi-turn process-reward reinforcement learning following supervised fine-tuning. Our approach is enabled by a new dataset we call ControlSketch-Part, containing rich part-level annotations for sketches, obtained using a novel, generic automatic annotation pipeline that segments vector sketches into semantic parts and assigns paths to parts with a structured multi-stage labeling process. Our results indicate that incorporating structured part-level data and providing agent with the visual feedback through the process enables interpretable, controllable, and locally editable text-to-vector sketch generation.

Enseñar a un agente a dibujar una parte a la vez

Teaching an Agent to Sketch One Part at a Time

Resumen

Support