Обнаружение навыков для автоматизации создания программных скриптов через оффлайн-симуляции с использованием языковых моделей

Skill Discovery for Software Scripting Automation via Offline Simulations with LLMs

April 29, 2025

Авторы: Paiheng Xu, Gang Wu, Xiang Chen, Tong Yu, Chang Xiao, Franck Dernoncourt, Tianyi Zhou, Wei Ai, Viswanathan Swaminathan

cs.AI

Аннотация

Интерфейсы сценариев позволяют пользователям автоматизировать задачи и настраивать рабочие процессы программного обеспечения, но создание сценариев традиционно требует навыков программирования и знакомства с конкретными API, что создает барьеры для многих пользователей. Хотя крупные языковые модели (LLM) могут генерировать код на основе запросов на естественном языке, генерация кода в реальном времени сильно ограничена из-за непроверенного кода, рисков безопасности, увеличенного времени отклика и более высоких вычислительных затрат. Чтобы преодолеть этот разрыв, мы предлагаем оффлайн-симуляционную структуру для создания специализированного набора навыков для программного обеспечения — коллекции проверенных сценариев, используя LLM и общедоступные руководства по написанию сценариев. Наша структура состоит из двух компонентов: (1) создание задач с использованием нисходящего руководства по функциональности и восходящего исследования синергии API для генерации полезных задач; и (2) генерация навыков с испытаниями, уточнением и проверкой сценариев на основе обратной связи от выполнения. Для эффективного навигации по обширному ландшафту API мы вводим модель предсказания связей на основе графовых нейронных сетей (GNN), чтобы уловить синергию API, что позволяет генерировать навыки, включающие недостаточно используемые API, и расширять разнообразие набора навыков. Эксперименты с Adobe Illustrator демонстрируют, что наша структура значительно повышает успешность автоматизации, сокращает время отклика и экономит затраты на токены в реальном времени по сравнению с традиционной генерацией кода. Это первая попытка использовать интерфейсы сценариев программного обеспечения в качестве тестовой площадки для систем на основе LLM, подчеркивая преимущества использования обратной связи от выполнения в контролируемой среде и предлагая ценные инсайты по согласованию возможностей ИИ с потребностями пользователей в специализированных программных областях.

English

Scripting interfaces enable users to automate tasks and customize software workflows, but creating scripts traditionally requires programming expertise and familiarity with specific APIs, posing barriers for many users. While Large Language Models (LLMs) can generate code from natural language queries, runtime code generation is severely limited due to unverified code, security risks, longer response times, and higher computational costs. To bridge the gap, we propose an offline simulation framework to curate a software-specific skillset, a collection of verified scripts, by exploiting LLMs and publicly available scripting guides. Our framework comprises two components: (1) task creation, using top-down functionality guidance and bottom-up API synergy exploration to generate helpful tasks; and (2) skill generation with trials, refining and validating scripts based on execution feedback. To efficiently navigate the extensive API landscape, we introduce a Graph Neural Network (GNN)-based link prediction model to capture API synergy, enabling the generation of skills involving underutilized APIs and expanding the skillset's diversity. Experiments with Adobe Illustrator demonstrate that our framework significantly improves automation success rates, reduces response time, and saves runtime token costs compared to traditional runtime code generation. This is the first attempt to use software scripting interfaces as a testbed for LLM-based systems, highlighting the advantages of leveraging execution feedback in a controlled environment and offering valuable insights into aligning AI capabilities with user needs in specialized software domains.