AVO: 自律的進化探索のためのエージェンシック変異オペレータ

AVO: Agentic Variation Operators for Autonomous Evolutionary Search

March 25, 2026

著者: Terry Chen, Zhifan Ye, Bing Xu, Zihao Ye, Timmy Liu, Ali Hassani, Tianqi Chen, Andrew Kerr, Haicheng Wu, Yang Xu, Yu-Jung Chen, Hanfeng Chen, Aditya Kane, Ronny Krashinsky, Ming-Yu Liu, Vinod Grover, Luis Ceze, Roger Bringmann, John Tran, Wei Liu, Fung Xie, Michael Lightstone, Humphrey Shi

cs.AI

要旨

エージェント型変異オペレータ（AVO）は、従来の進化探索における固定化された突然変異・交叉や手設計のヒューリスティクスを自律的なコーディングエージェントに置き換える、新たな進化的変異オペレータのファミリーである。AVOは、言語モデルを所定のパイプライン内での候補生成に限定するのではなく、変異を自律的なエージェントループとして具現化する。このループは、現在の系統群、ドメイン固有の知識ベース、実行フィードバックを参照し、実装の編集を提案、修復、批評、検証することができる。我々はAVOを、AIにおいて最も過激に最適化が進むカーネルターゲットの一つであるアテンションに焦点を当て、NVIDIA Blackwell（B200）GPU上で評価した。マルチヘッドアテンションに対する7日間の連続自律進化を通じて、AVOは評価対象の設定全体において、cuDNNを最大3.5%、FlashAttention-4を最大10.5%上回るカーネルを発見した。発見された最適化はグループ化クエリアテンションにも容易に転移し、追加で30分間の自律的適応のみで、cuDNNに対して最大7.0%、FlashAttention-4に対して最大9.3%の性能向上をもたらした。これらの結果は総合的に、エージェント型変異オペレータが、エージェントを単なる候補生成器から変異オペレータへと昇華させることで、従来のLLMをループ内に組み込んだ進化的パイプラインを超えるものであり、現在最も先進的なGPUハードウェア上で、専門家が設計した最先端のアテンション実装を凌駕するカーネルを生み出す、性能上極めて重要なマイクロアーキテクチャ的最適化を発見できることを示している。

English

Agentic Variation Operators (AVO) are a new family of evolutionary variation operators that replace the fixed mutation, crossover, and hand-designed heuristics of classical evolutionary search with autonomous coding agents. Rather than confining a language model to candidate generation within a prescribed pipeline, AVO instantiates variation as a self-directed agent loop that can consult the current lineage, a domain-specific knowledge base, and execution feedback to propose, repair, critique, and verify implementation edits. We evaluate AVO on attention, among the most aggressively optimized kernel targets in AI, on NVIDIA Blackwell (B200) GPUs. Over 7 days of continuous autonomous evolution on multi-head attention, AVO discovers kernels that outperform cuDNN by up to 3.5% and FlashAttention-4 by up to 10.5% across the evaluated configurations. The discovered optimizations transfer readily to grouped-query attention, requiring only 30 minutes of additional autonomous adaptation and yielding gains of up to 7.0% over cuDNN and 9.3% over FlashAttention-4. Together, these results show that agentic variation operators move beyond prior LLM-in-the-loop evolutionary pipelines by elevating the agent from candidate generator to variation operator, and can discover performance-critical micro-architectural optimizations that produce kernels surpassing state-of-the-art expert-engineered attention implementations on today's most advanced GPU hardware.