AVO: Agentische Variationsoperatoren für autonome evolutionäre Suche
AVO: Agentic Variation Operators for Autonomous Evolutionary Search
March 25, 2026
Autoren: Terry Chen, Zhifan Ye, Bing Xu, Zihao Ye, Timmy Liu, Ali Hassani, Tianqi Chen, Andrew Kerr, Haicheng Wu, Yang Xu, Yu-Jung Chen, Hanfeng Chen, Aditya Kane, Ronny Krashinsky, Ming-Yu Liu, Vinod Grover, Luis Ceze, Roger Bringmann, John Tran, Wei Liu, Fung Xie, Michael Lightstone, Humphrey Shi
cs.AI
Zusammenfassung
Agentic Variation Operators (AVO) sind eine neue Familie evolutionärer Variationsoperatoren, die die feste Mutation, den Crossover und manuell entworfene Heuristiken der klassischen evolutionären Suche durch autonome Programmieragenten ersetzen. Anstatt ein Sprachmodell auf die Generierung von Kandidaten innerhalb einer vorgegebenen Pipeline zu beschränken, instanziiert AVO die Variation als einen selbstgesteuerten Agenten-Loop, der die aktuelle Abstammungslinie, eine domänenspezifische Wissensbasis und Ausführungs-Feedback konsultieren kann, um Implementierungsänderungen vorzuschlagen, zu reparieren, zu bewerten und zu verifizieren. Wir evaluieren AVO für Attention, eines der am stärksten optimierten Kernel-Ziele in der KI, auf NVIDIA Blackwell (B200) GPUs. Nach 7 Tagen kontinuierlicher autonomer Evolution für Multi-Head-Attention entdeckt AVO Kernel, die cuDNN in den evaluierten Konfigurationen um bis zu 3,5 % und FlashAttention-4 um bis zu 10,5 % übertreffen. Die entdeckten Optimierungen übertragen sich problemlos auf Grouped-Query-Attention, erfordern nur 30 Minuten zusätzliche autonome Anpassung und erzielen Gewinne von bis zu 7,0 % gegenüber cuDNN und 9,3 % gegenüber FlashAttention-4. Zusammengenommen zeigen diese Ergebnisse, dass agentische Variationsoperatoren über frühere LLM-in-the-Loop-evolutionäre Pipelines hinausgehen, indem sie den Agenten vom Kandidatengenerator zum Variationsoperator erheben, und dass sie leistungskritische mikroarchitektonische Optimierungen entdecken können, die Kernel hervorbringen, die state-of-the-art, expertenentwickelte Attention-Implementierungen auf der heutigen fortschrittlichsten GPU-Hardware übertreffen.
English
Agentic Variation Operators (AVO) are a new family of evolutionary variation operators that replace the fixed mutation, crossover, and hand-designed heuristics of classical evolutionary search with autonomous coding agents. Rather than confining a language model to candidate generation within a prescribed pipeline, AVO instantiates variation as a self-directed agent loop that can consult the current lineage, a domain-specific knowledge base, and execution feedback to propose, repair, critique, and verify implementation edits. We evaluate AVO on attention, among the most aggressively optimized kernel targets in AI, on NVIDIA Blackwell (B200) GPUs. Over 7 days of continuous autonomous evolution on multi-head attention, AVO discovers kernels that outperform cuDNN by up to 3.5% and FlashAttention-4 by up to 10.5% across the evaluated configurations. The discovered optimizations transfer readily to grouped-query attention, requiring only 30 minutes of additional autonomous adaptation and yielding gains of up to 7.0% over cuDNN and 9.3% over FlashAttention-4. Together, these results show that agentic variation operators move beyond prior LLM-in-the-loop evolutionary pipelines by elevating the agent from candidate generator to variation operator, and can discover performance-critical micro-architectural optimizations that produce kernels surpassing state-of-the-art expert-engineered attention implementations on today's most advanced GPU hardware.