Автоматическая генерация кода для задач информационных технологий в YAML с использованием больших языковых моделей
Automated Code generation for Information Technology Tasks in YAML through Large Language Models
May 2, 2023
Авторы: Saurabh Pujar, Luca Buratti, Xiaojie Guo, Nicolas Dupuis, Burn Lewis, Sahil Suneja, Atin Sood, Ganesh Nalawade, Matt Jones, Alessandro Morari, Ruchir Puri
cs.AI
Аннотация
Недавнее улучшение возможностей генерации кода благодаря использованию крупных языковых моделей в основном затронуло универсальные языки программирования. Предметно-ориентированные языки, такие как используемые для автоматизации ИТ, получили гораздо меньше внимания, несмотря на активное участие многих разработчиков и их важную роль в современных облачных платформах. Данная работа сосредоточена на генерации Ansible-YAML, широко используемого языка разметки для автоматизации ИТ. Мы представляем Ansible Wisdom — инструмент для генерации кода Ansible-YAML из естественного языка, направленный на повышение производительности автоматизации ИТ. Ansible Wisdom представляет собой модель на основе трансформеров, расширенную за счет обучения на новом наборе данных, содержащем Ansible-YAML. Мы также разработали две новые метрики производительности для YAML и Ansible, чтобы учитывать специфические характеристики этой области. Результаты показывают, что Ansible Wisdom способен точно генерировать скрипты Ansible из запросов на естественном языке с производительностью, сопоставимой или превосходящей существующие передовые модели генерации кода.
English
The recent improvement in code generation capabilities due to the use of
large language models has mainly benefited general purpose programming
languages. Domain specific languages, such as the ones used for IT Automation,
have received far less attention, despite involving many active developers and
being an essential component of modern cloud platforms. This work focuses on
the generation of Ansible-YAML, a widely used markup language for IT
Automation. We present Ansible Wisdom, a natural-language to Ansible-YAML code
generation tool, aimed at improving IT automation productivity. Ansible Wisdom
is a transformer-based model, extended by training with a new dataset
containing Ansible-YAML. We also develop two novel performance metrics for YAML
and Ansible to capture the specific characteristics of this domain. Results
show that Ansible Wisdom can accurately generate Ansible script from natural
language prompts with performance comparable or better than existing state of
the art code generation models.