エージェントに一度に一つのパーツを描く方法を教える

Teaching an Agent to Sketch One Part at a Time

March 19, 2026

著者: Xiaodan Du, Ruize Xu, David Yunis, Yael Vinker, Greg Shakhnarovich

cs.AI

要旨

本論文では、ベクタースケッチをパーツ単位で生成する手法を提案する。この実現のために、教師ありファインチューニング後に、新規に開発したマルチターン過程報酬強化学習を用いてマルチモーダル言語モデルベースのエージェントを訓練する。我々の手法は、新たに構築したControlSketch-Partデータセットによって可能となった。このデータセットは、ベクタースケッチを意味的なパーツに分割し、構造化された多段階ラベリングプロセスでパスをパーツに割り当てる、新規で汎用的な自動アノテーションパイプラインを用いて取得された、スケッチの豊富なパートレベルのアノテーションを含んでいる。結果として、構造化されたパートレベルのデータを組み込み、プロセスを通じてエージェントに視覚的フィードバックを提供することが、解釈可能で制御性が高く、局所的に編集可能なテキストからベクタースケッチへの生成を実現することを示す。

English

We develop a method for producing vector sketches one part at a time. To do this, we train a multi-modal language model-based agent using a novel multi-turn process-reward reinforcement learning following supervised fine-tuning. Our approach is enabled by a new dataset we call ControlSketch-Part, containing rich part-level annotations for sketches, obtained using a novel, generic automatic annotation pipeline that segments vector sketches into semantic parts and assigns paths to parts with a structured multi-stage labeling process. Our results indicate that incorporating structured part-level data and providing agent with the visual feedback through the process enables interpretable, controllable, and locally editable text-to-vector sketch generation.