YAMLにおける情報技術タスクのための自動コード生成 大規模言語モデルを活用して
Automated Code generation for Information Technology Tasks in YAML through Large Language Models
May 2, 2023
著者: Saurabh Pujar, Luca Buratti, Xiaojie Guo, Nicolas Dupuis, Burn Lewis, Sahil Suneja, Atin Sood, Ganesh Nalawade, Matt Jones, Alessandro Morari, Ruchir Puri
cs.AI
要旨
大規模言語モデルの利用によるコード生成能力の最近の向上は、主に汎用プログラミング言語に恩恵をもたらしてきた。ITオートメーションに使用されるドメイン固有言語は、多くの活発な開発者が関わり、現代のクラウドプラットフォームの重要な構成要素であるにもかかわらず、これまでほとんど注目されてこなかった。本研究は、ITオートメーションで広く使用されるマークアップ言語であるAnsible-YAMLの生成に焦点を当てている。本論文では、ITオートメーションの生産性向上を目的とした、自然言語からAnsible-YAMLコードを生成するツール「Ansible Wisdom」を紹介する。Ansible Wisdomは、Transformerベースのモデルであり、Ansible-YAMLを含む新しいデータセットでトレーニングすることで拡張されている。また、このドメインの特性を捉えるために、YAMLおよびAnsible向けの2つの新しい性能評価指標を開発した。結果は、Ansible Wisdomが自然言語プロンプトから正確にAnsibleスクリプトを生成でき、既存の最先端のコード生成モデルと同等またはそれ以上の性能を発揮することを示している。
English
The recent improvement in code generation capabilities due to the use of
large language models has mainly benefited general purpose programming
languages. Domain specific languages, such as the ones used for IT Automation,
have received far less attention, despite involving many active developers and
being an essential component of modern cloud platforms. This work focuses on
the generation of Ansible-YAML, a widely used markup language for IT
Automation. We present Ansible Wisdom, a natural-language to Ansible-YAML code
generation tool, aimed at improving IT automation productivity. Ansible Wisdom
is a transformer-based model, extended by training with a new dataset
containing Ansible-YAML. We also develop two novel performance metrics for YAML
and Ansible to capture the specific characteristics of this domain. Results
show that Ansible Wisdom can accurately generate Ansible script from natural
language prompts with performance comparable or better than existing state of
the art code generation models.