LLM駆動による完全自動化カオスエンジニアリング：誰もが低コストでレジリエントなソフトウェアシステムを構築できる未来に向けて
LLM-Powered Fully Automated Chaos Engineering: Towards Enabling Anyone to Build Resilient Software Systems at Low Cost
November 11, 2025
著者: Daisuke Kikuta, Hiroki Ikeuchi, Kengo Tajiri
cs.AI
要旨
カオスエンジニアリング（CE）は、分散システムのレジリエンスを向上させることを目的としたエンジニアリング技術である。これは、システムのレジリエンスをテストし、弱点を発見し、本番環境で障害が発生する前にそれらに対処するために、意図的にシステムに障害を注入することを含む。最近のCEツールは、事前に定義されたCE実験の実行を自動化している。しかし、そのような実験の計画と、実験結果に基づくシステムの改善は、依然として手作業で行われている。これらのプロセスは労力を要し、複数領域にわたる専門知識を必要とする。これらの課題に対処し、誰もが低コストでレジリエントなシステムを構築できるようにするため、本論文は大規模言語モデル（LLM）を用いてCEサイクル全体を自動化するシステム、ChaosEaterを提案する。ChaosEaterは、体系的なCEサイクルに従ってエージェント的なワークフローを事前に定義し、ワークフロー内の細分化されたプロセスをLLMに割り当てる。ChaosEaterは、Kubernetes上に構築されたソフトウェアシステムに対するCEを対象とする。したがって、ChaosEater内のLLMは、要求定義、コード生成、テスト、デバッグを含むソフトウェアエンジニアリングタスクを通じてCEサイクルを完了する。我々は、小規模および大規模なKubernetesシステムに関するケーススタディを通じてChaosEaterを評価する。結果は、ChaosEaterが非常に低い時間的・金銭的コストで一貫して合理的なCEサイクルを完了することを示している。そのサイクルは、人間のエンジニアとLLMによって質的にも検証されている。
English
Chaos Engineering (CE) is an engineering technique aimed at improving the resilience of distributed systems. It involves intentionally injecting faults into a system to test its resilience, uncover weaknesses, and address them before they cause failures in production. Recent CE tools automate the execution of predefined CE experiments. However, planning such experiments and improving the system based on the experimental results still remain manual. These processes are labor-intensive and require multi-domain expertise. To address these challenges and enable anyone to build resilient systems at low cost, this paper proposes ChaosEater, a system that automates the entire CE cycle with Large Language Models (LLMs). It predefines an agentic workflow according to a systematic CE cycle and assigns subdivided processes within the workflow to LLMs. ChaosEater targets CE for software systems built on Kubernetes. Therefore, the LLMs in ChaosEater complete CE cycles through software engineering tasks, including requirement definition, code generation, testing, and debugging. We evaluate ChaosEater through case studies on small- and large-scale Kubernetes systems. The results demonstrate that it consistently completes reasonable CE cycles with significantly low time and monetary costs. Its cycles are also qualitatively validated by human engineers and LLMs.