RESOURCE2SKILL: 인간이 만든 멀티모달 자원으로부터 실행 가능한 에이전트 스킬 추출하기
RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources
July 16, 2026
저자: Yijia Fan, Zonglin Di, Zimo Wen, Yifan Yang, Mingxi Cheng, Qi Dai, Bei Liu, Kai Qiu, Yue Dong, Ji Li, Chong Luo
cs.AI
초록
기술은 소프트웨어 에이전트에게 유용한 추상화로, 인간과 에이전트의 경험을 재사용 가능한 절차적 지식으로 전환한다. 그러나 기존의 기술 라이브러리는 대부분 수작업으로 작성되거나 텍스트 중심이거나 에이전트 추적에서 파생되어, 튜토리얼 비디오 및 기타 다중 모드 인간 자원이 크게 활용되지 못하고 있다. 우리는 튜토리얼 비디오, 저장소, 기사 및 참조 아티팩트를 포함한 다중 모드 자원을 소프트웨어 에이전트용 실행 가능한 기술로 추출하는 프레임워크인 RESOURCE2SKILL을 제시한다. RESOURCE2SKILL은 이러한 기술을 계층적 다중 모드 Skill Wiki로 구성하며, 각 항목은 구조화된 텍스트, 코드, 시각적 예제, 메타데이터 및 출처를 결합한다. 이 설계는 서로 다른 자원의 상호 보완적 신호를 보존한다. 비디오는 시간적 작업과 시각적 효과를 포착하고, 코드는 실행 가능한 도구 패턴을 포착하며, 기사나 아티팩트는 개념적 및 스타일적 근거를 제공한다. 추론 시 에이전트는 위키에서 관련 기술을 검색하고 구성하며, 적용 범위가 불충분할 경우 동일한 구축 연산자가 온라인으로 새로운 기술을 획득할 수 있다. 7개의 실용적인 저작 도메인에 걸쳐, RESOURCE2SKILL은 기술 없는 에이전트 대비 평균 전체 점수를 +11.9% 포인트 향상시키며, 28개의 주요 집계 모델-도메인 셀 중 26개에서 강력한 하네스 기준선을 능가한다. 제거 실험은 다중 모드 기술 형식, 계층적 구성, 소스 다양성, 선택 전략 및 온라인 획득의 가치를 확인한다.
English
Skills are a useful abstraction for software agents, turning human and agent experience into reusable procedural knowledge. Yet existing skill libraries are mostly hand-written, text-centric, or derived from agent traces, leaving tutorial videos and other multimodal human resources largely underused. We present RESOURCE2SKILL, a framework that distills multimodal resources, including tutorial videos, repositories, articles, and reference artifacts, into executable skills for software agents. RESOURCE2SKILL organizes these skills as a hierarchical multimodal Skill Wiki, where each entry combines structured text, code, visual examples, metadata, and provenance. This design preserves complementary signals from different resources: videos capture temporal operations and visual effects, code captures executable tool patterns, and articles or artifacts provide conceptual and stylistic grounding. At inference time, agents retrieve and compose relevant skills from the wiki; when coverage is insufficient, the same construction operator can acquire new skills online. Across seven practical authoring domains, RESOURCE2SKILL improves average overall score by +11.9 percentage points over no-skill agents and outperforms strong harness baselines in 26 of 28 main-aggregate model-domain cells. Ablations confirm the value of multimodal skill format, hierarchical organization, source diversity, selection strategy, and online acquisition.