LLM 기반 오프라인 시뮬레이션을 통한 소프트웨어 스크립팅 자동화를 위한 스킬 발견

Skill Discovery for Software Scripting Automation via Offline Simulations with LLMs

April 29, 2025

저자: Paiheng Xu, Gang Wu, Xiang Chen, Tong Yu, Chang Xiao, Franck Dernoncourt, Tianyi Zhou, Wei Ai, Viswanathan Swaminathan

cs.AI

초록

스크립팅 인터페이스는 사용자가 작업을 자동화하고 소프트웨어 워크플로를 사용자 정의할 수 있게 해주지만, 전통적으로 스크립트를 작성하려면 프로그래밍 전문 지식과 특정 API에 대한 친숙함이 필요하여 많은 사용자에게 진입 장벽으로 작용합니다. 대형 언어 모델(LLM)은 자연어 질의에서 코드를 생성할 수 있지만, 런타임 코드 생성은 검증되지 않은 코드, 보안 위험, 긴 응답 시간, 높은 계산 비용으로 인해 심각하게 제한됩니다. 이러한 격차를 해소하기 위해, 우리는 LLM과 공개적으로 이용 가능한 스크립팅 가이드를 활용하여 검증된 스크립트 모음인 소프트웨어 특화 스킬셋을 선별하기 위한 오프라인 시뮬레이션 프레임워크를 제안합니다. 우리의 프레임워크는 두 가지 구성 요소로 이루어져 있습니다: (1) 상향식 기능 지도와 하향식 API 시너지 탐색을 사용하여 유용한 작업을 생성하는 작업 생성; (2) 실행 피드백을 기반으로 스크립트를 개선하고 검증하는 시도를 통한 스킬 생성. 광범위한 API 환경을 효율적으로 탐색하기 위해, 우리는 API 시너지를 포착하기 위한 그래프 신경망(GNN) 기반 링크 예측 모델을 도입하여 활용도가 낮은 API를 포함한 스킬을 생성하고 스킬셋의 다양성을 확장합니다. Adobe Illustrator를 사용한 실험에서, 우리의 프레임워크가 전통적인 런타임 코드 생성에 비해 자동화 성공률을 크게 향상시키고, 응답 시간을 단축하며, 런타임 토큰 비용을 절약하는 것으로 나타났습니다. 이는 소프트웨어 스크립팅 인터페이스를 LLM 기반 시스템의 테스트베드로 사용한 첫 번째 시도로, 통제된 환경에서 실행 피드백을 활용하는 장점을 강조하고, 특화된 소프트웨어 도메인에서 사용자 요구에 맞춰 AI 역량을 조정하는 데 유용한 통찰을 제공합니다.

English

Scripting interfaces enable users to automate tasks and customize software workflows, but creating scripts traditionally requires programming expertise and familiarity with specific APIs, posing barriers for many users. While Large Language Models (LLMs) can generate code from natural language queries, runtime code generation is severely limited due to unverified code, security risks, longer response times, and higher computational costs. To bridge the gap, we propose an offline simulation framework to curate a software-specific skillset, a collection of verified scripts, by exploiting LLMs and publicly available scripting guides. Our framework comprises two components: (1) task creation, using top-down functionality guidance and bottom-up API synergy exploration to generate helpful tasks; and (2) skill generation with trials, refining and validating scripts based on execution feedback. To efficiently navigate the extensive API landscape, we introduce a Graph Neural Network (GNN)-based link prediction model to capture API synergy, enabling the generation of skills involving underutilized APIs and expanding the skillset's diversity. Experiments with Adobe Illustrator demonstrate that our framework significantly improves automation success rates, reduces response time, and saves runtime token costs compared to traditional runtime code generation. This is the first attempt to use software scripting interfaces as a testbed for LLM-based systems, highlighting the advantages of leveraging execution feedback in a controlled environment and offering valuable insights into aligning AI capabilities with user needs in specialized software domains.