Vaardigheidsontdekking voor Automatisering van Software Scripting via Offline Simulaties met LLM's

Samenvatting

Scripting-interfaces stellen gebruikers in staat om taken te automatiseren en softwareworkflows aan te passen, maar het maken van scripts vereist traditioneel programmeerexpertise en vertrouwdheid met specifieke API's, wat voor veel gebruikers een barrière vormt. Hoewel Large Language Models (LLM's) code kunnen genereren op basis van natuurlijke taalvragen, wordt runtime-codegeneratie ernstig beperkt door ongeverifieerde code, beveiligingsrisico's, langere reactietijden en hogere rekenkosten. Om deze kloof te overbruggen, stellen we een offline simulatiekader voor om een software-specifieke vaardighedenverzameling, een collectie van geverifieerde scripts, samen te stellen door gebruik te maken van LLM's en publiek beschikbare scriptinggidsen. Ons kader bestaat uit twee componenten: (1) taakcreatie, waarbij top-down functionaliteitsbegeleiding en bottom-up API-synergie-exploratie worden gebruikt om nuttige taken te genereren; en (2) vaardighedengeneratie met proeven, waarbij scripts worden verfijnd en gevalideerd op basis van uitvoeringsfeedback. Om efficiënt door het uitgebreide API-landschap te navigeren, introduceren we een op Graph Neural Networks (GNN) gebaseerd linkvoorspellingsmodel om API-synergie vast te leggen, waardoor het mogelijk wordt om vaardigheden te genereren die onderbenutte API's omvatten en de diversiteit van de vaardighedenverzameling te vergroten. Experimenten met Adobe Illustrator tonen aan dat ons kader de automatiseringssuccespercentages aanzienlijk verbetert, de reactietijd verkort en runtime-tokenkosten bespaart in vergelijking met traditionele runtime-codegeneratie. Dit is de eerste poging om software-scripting-interfaces te gebruiken als testomgeving voor LLM-gebaseerde systemen, wat de voordelen benadrukt van het benutten van uitvoeringsfeedback in een gecontroleerde omgeving en waardevolle inzichten biedt in het afstemmen van AI-mogelijkheden op gebruikersbehoeften in gespecialiseerde softwaredomeinen.

English

Scripting interfaces enable users to automate tasks and customize software workflows, but creating scripts traditionally requires programming expertise and familiarity with specific APIs, posing barriers for many users. While Large Language Models (LLMs) can generate code from natural language queries, runtime code generation is severely limited due to unverified code, security risks, longer response times, and higher computational costs. To bridge the gap, we propose an offline simulation framework to curate a software-specific skillset, a collection of verified scripts, by exploiting LLMs and publicly available scripting guides. Our framework comprises two components: (1) task creation, using top-down functionality guidance and bottom-up API synergy exploration to generate helpful tasks; and (2) skill generation with trials, refining and validating scripts based on execution feedback. To efficiently navigate the extensive API landscape, we introduce a Graph Neural Network (GNN)-based link prediction model to capture API synergy, enabling the generation of skills involving underutilized APIs and expanding the skillset's diversity. Experiments with Adobe Illustrator demonstrate that our framework significantly improves automation success rates, reduces response time, and saves runtime token costs compared to traditional runtime code generation. This is the first attempt to use software scripting interfaces as a testbed for LLM-based systems, highlighting the advantages of leveraging execution feedback in a controlled environment and offering valuable insights into aligning AI capabilities with user needs in specialized software domains.

Vaardigheidsontdekking voor Automatisering van Software Scripting via Offline Simulaties met LLM's

Skill Discovery for Software Scripting Automation via Offline Simulations with LLMs

Samenvatting

Support