RESOURCE2SKILL: 人間が作成したマルチモーダルリソースから実行可能なエージェントスキルを抽出する
RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources
July 16, 2026
著者: Yijia Fan, Zonglin Di, Zimo Wen, Yifan Yang, Mingxi Cheng, Qi Dai, Bei Liu, Kai Qiu, Yue Dong, Ji Li, Chong Luo
cs.AI
要旨
スキルはソフトウェアエージェントにとって有用な抽象概念であり、人間やエージェントの経験を再利用可能な手続き的知識へと変換する。しかし、既存のスキルライブラリはほとんどが手動で作成され、テキスト中心か、エージェントのトレースから導出されたものであり、チュートリアル動画やその他のマルチモーダルな人的リソースはほとんど活用されていない。本稿では、チュートリアル動画、リポジトリ、記事、参考成果物といったマルチモーダルリソースを、ソフトウェアエージェント向けの実行可能スキルに抽出するフレームワークRESOURCE2SKILLを提案する。RESOURCE2SKILLは、これらのスキルを階層的なマルチモーダルスキルWikiとして整理する。各エントリは、構造化テキスト、コード、視覚的例、メタデータ、来歴を組み合わせたものである。この設計により、異なるリソースからの相補的な信号、すなわち動画が捉える時間的操作や視覚効果、コードが捉える実行可能なツールパターン、記事や成果物が提供する概念的・スタイル的基盤が保持される。推論時には、エージェントがWikiから関連スキルを取得し構成する。カバレッジが不十分な場合には、同じ構築オペレータがオンラインで新しいスキルを獲得する。7つの実用的なオーサリングドメインにおいて、RESOURCE2SKILLはスキルなしエージェントと比較して平均総合スコアを11.9パーセントポイント向上させ、28の主要集計モデル・ドメインセルのうち26で強力なハーネスベースラインを上回った。アブレーション実験により、マルチモーダルなスキル形式、階層的構成、ソース多様性、選択戦略、オンライン獲得の有効性が確認された。
English
Skills are a useful abstraction for software agents, turning human and agent experience into reusable procedural knowledge. Yet existing skill libraries are mostly hand-written, text-centric, or derived from agent traces, leaving tutorial videos and other multimodal human resources largely underused. We present RESOURCE2SKILL, a framework that distills multimodal resources, including tutorial videos, repositories, articles, and reference artifacts, into executable skills for software agents. RESOURCE2SKILL organizes these skills as a hierarchical multimodal Skill Wiki, where each entry combines structured text, code, visual examples, metadata, and provenance. This design preserves complementary signals from different resources: videos capture temporal operations and visual effects, code captures executable tool patterns, and articles or artifacts provide conceptual and stylistic grounding. At inference time, agents retrieve and compose relevant skills from the wiki; when coverage is insufficient, the same construction operator can acquire new skills online. Across seven practical authoring domains, RESOURCE2SKILL improves average overall score by +11.9 percentage points over no-skill agents and outperforms strong harness baselines in 26 of 28 main-aggregate model-domain cells. Ablations confirm the value of multimodal skill format, hierarchical organization, source diversity, selection strategy, and online acquisition.