AVO: Operatori di Variazione Agente per la Ricerca Evolutiva Autonoma
AVO: Agentic Variation Operators for Autonomous Evolutionary Search
March 25, 2026
Autori: Terry Chen, Zhifan Ye, Bing Xu, Zihao Ye, Timmy Liu, Ali Hassani, Tianqi Chen, Andrew Kerr, Haicheng Wu, Yang Xu, Yu-Jung Chen, Hanfeng Chen, Aditya Kane, Ronny Krashinsky, Ming-Yu Liu, Vinod Grover, Luis Ceze, Roger Bringmann, John Tran, Wei Liu, Fung Xie, Michael Lightstone, Humphrey Shi
cs.AI
Abstract
Gli Agentic Variation Operators (AVO) costituiscono una nuova famiglia di operatori di variazione evolutiva che sostituiscono le euristiche fisse di mutazione, crossover e progettazione manuale della ricerca evolutiva classica con agenti di codifica autonomi. Invece di limitare un modello linguistico alla generazione di candidati all'interno di una pipeline predeterminata, AVO istanzia la variazione come un ciclo agente auto-diretto in grado di consultare il lignaggio corrente, una base di conoscenze dominio-specifica e il feedback di esecuzione per proporre, riparare, criticare e verificare modifiche all'implementazione. Valutiamo AVO sull'attenzione, uno dei target di kernel più aggressivamente ottimizzati nell'IA, su GPU NVIDIA Blackwell (B200). Dopo 7 giorni di evoluzione autonoma continua sulla multi-head attention, AVO scopre kernel che superano cuDNN fino al 3,5% e FlashAttention-4 fino al 10,5% nelle configurazioni testate. Le ottimizzazioni scoperte si trasferiscono facilmente alla grouped-query attention, richiedendo solo 30 minuti di adattamento autonomo aggiuntivo e producendo guadagni fino al 7,0% su cuDNN e al 9,3% su FlashAttention-4. Nel complesso, questi risultati dimostrano che gli operatori di variazione agentici vanno oltre le precedenti pipeline evolutive con LLM-in-the-loop, elevando l'agente da generatore di candidati a operatore di variazione, e possono scoprire ottimizzazioni micro-architetturali critiche per le prestazioni che producono kernel superiori alle implementazioni di attenzione state-of-the-art ingegnerizzate da esperti sull'hardware GPU più avanzato di oggi.
English
Agentic Variation Operators (AVO) are a new family of evolutionary variation operators that replace the fixed mutation, crossover, and hand-designed heuristics of classical evolutionary search with autonomous coding agents. Rather than confining a language model to candidate generation within a prescribed pipeline, AVO instantiates variation as a self-directed agent loop that can consult the current lineage, a domain-specific knowledge base, and execution feedback to propose, repair, critique, and verify implementation edits. We evaluate AVO on attention, among the most aggressively optimized kernel targets in AI, on NVIDIA Blackwell (B200) GPUs. Over 7 days of continuous autonomous evolution on multi-head attention, AVO discovers kernels that outperform cuDNN by up to 3.5% and FlashAttention-4 by up to 10.5% across the evaluated configurations. The discovered optimizations transfer readily to grouped-query attention, requiring only 30 minutes of additional autonomous adaptation and yielding gains of up to 7.0% over cuDNN and 9.3% over FlashAttention-4. Together, these results show that agentic variation operators move beyond prior LLM-in-the-loop evolutionary pipelines by elevating the agent from candidate generator to variation operator, and can discover performance-critical micro-architectural optimizations that produce kernels surpassing state-of-the-art expert-engineered attention implementations on today's most advanced GPU hardware.