Fähigkeitsentdeckung für die Automatisierung von Software-Skripten durch Offline-Simulationen mit LLMs

Skill Discovery for Software Scripting Automation via Offline Simulations with LLMs

April 29, 2025

Autoren: Paiheng Xu, Gang Wu, Xiang Chen, Tong Yu, Chang Xiao, Franck Dernoncourt, Tianyi Zhou, Wei Ai, Viswanathan Swaminathan

cs.AI

Zusammenfassung

Skriptschnittstellen ermöglichen es Benutzern, Aufgaben zu automatisieren und Software-Workflows anzupassen. Die Erstellung von Skripten erfordert jedoch traditionell Programmierkenntnisse und Vertrautheit mit spezifischen APIs, was für viele Benutzer eine Hürde darstellt. Während große Sprachmodelle (LLMs) Code aus natürlichen Sprachanfragen generieren können, ist die Laufzeit-Codegenerierung aufgrund von ungeprüftem Code, Sicherheitsrisiken, längeren Antwortzeiten und höheren Rechenkosten stark eingeschränkt. Um diese Lücke zu schließen, schlagen wir ein Offline-Simulationsframework vor, um ein software-spezifisches Skillset, eine Sammlung verifizierter Skripte, durch die Nutzung von LLMs und öffentlich verfügbaren Skriptanleitungen zu kuratieren. Unser Framework besteht aus zwei Komponenten: (1) Aufgabenstellung, bei der top-down-Funktionsanleitungen und bottom-up-API-Synergie-Exploration verwendet werden, um nützliche Aufgaben zu generieren; und (2) Skill-Generierung mit Versuchen, die Skripte basierend auf Ausführungsfeedback verfeinern und validieren. Um die umfangreiche API-Landschaft effizient zu navigieren, führen wir ein Graph Neural Network (GNN)-basiertes Link-Vorhersagemodell ein, um API-Synergien zu erfassen, was die Generierung von Skills unter Einbeziehung untergenutzter APIs ermöglicht und die Vielfalt des Skillsets erweitert. Experimente mit Adobe Illustrator zeigen, dass unser Framework die Automatisierungserfolgsraten deutlich verbessert, die Antwortzeit reduziert und Laufzeit-Token-Kosten im Vergleich zur traditionellen Laufzeit-Codegenerierung einspart. Dies ist der erste Versuch, Software-Skriptschnittstellen als Testumgebung für LLM-basierte Systeme zu nutzen, und hebt die Vorteile der Nutzung von Ausführungsfeedback in einer kontrollierten Umgebung hervor. Es bietet wertvolle Einblicke in die Ausrichtung von KI-Fähigkeiten auf Benutzerbedürfnisse in spezialisierten Softwarebereichen.

English

Scripting interfaces enable users to automate tasks and customize software workflows, but creating scripts traditionally requires programming expertise and familiarity with specific APIs, posing barriers for many users. While Large Language Models (LLMs) can generate code from natural language queries, runtime code generation is severely limited due to unverified code, security risks, longer response times, and higher computational costs. To bridge the gap, we propose an offline simulation framework to curate a software-specific skillset, a collection of verified scripts, by exploiting LLMs and publicly available scripting guides. Our framework comprises two components: (1) task creation, using top-down functionality guidance and bottom-up API synergy exploration to generate helpful tasks; and (2) skill generation with trials, refining and validating scripts based on execution feedback. To efficiently navigate the extensive API landscape, we introduce a Graph Neural Network (GNN)-based link prediction model to capture API synergy, enabling the generation of skills involving underutilized APIs and expanding the skillset's diversity. Experiments with Adobe Illustrator demonstrate that our framework significantly improves automation success rates, reduces response time, and saves runtime token costs compared to traditional runtime code generation. This is the first attempt to use software scripting interfaces as a testbed for LLM-based systems, highlighting the advantages of leveraging execution feedback in a controlled environment and offering valuable insights into aligning AI capabilities with user needs in specialized software domains.