AVO: Operadores de Variação Agêntica para Busca Evolutiva Autônoma
AVO: Agentic Variation Operators for Autonomous Evolutionary Search
March 25, 2026
Autores: Terry Chen, Zhifan Ye, Bing Xu, Zihao Ye, Timmy Liu, Ali Hassani, Tianqi Chen, Andrew Kerr, Haicheng Wu, Yang Xu, Yu-Jung Chen, Hanfeng Chen, Aditya Kane, Ronny Krashinsky, Ming-Yu Liu, Vinod Grover, Luis Ceze, Roger Bringmann, John Tran, Wei Liu, Fung Xie, Michael Lightstone, Humphrey Shi
cs.AI
Resumo
Os Operadores de Variação Agêntica (AVO) são uma nova família de operadores de variação evolutiva que substituem a mutação fixa, o *crossover* e as heurísticas manuais da busca evolutiva clássica por agentes de codificação autónomos. Em vez de confinar um modelo de linguagem à geração de candidatos dentro de um *pipeline* pré-definido, o AVO instancia a variação como um ciclo de agente autodirigido que pode consultar a linhagem atual, uma base de conhecimento específica do domínio e o *feedback* de execução para propor, reparar, criticar e verificar edições de implementação. Avaliamos o AVO no *attention*, um dos alvos de *kernel* mais intensamente otimizados na IA, em GPUs NVIDIA Blackwell (B200). Após 7 dias de evolução autónoma contínua no *multi-head attention*, o AVO descobre *kernels* que superam o cuDNN em até 3,5% e o FlashAttention-4 em até 10,5% nas configurações avaliadas. As otimizações descobertas transferem-se prontamente para o *grouped-query attention*, exigindo apenas 30 minutos de adaptação autónoma adicional e produzindo ganhos de até 7,0% sobre o cuDNN e 9,3% sobre o FlashAttention-4. Em conjunto, estes resultados mostram que os operadores de variação agêntica vão além dos *pipelines* evolutivos anteriores com LLM, elevando o agente de gerador de candidatos a operador de variação, e podem descobrir otimizações microarquitetónicas críticas para o desempenho que produzem *kernels* que superam as implementações de *attention* state-of-the-art concebidas por especialistas no hardware de GPU mais avançado de hoje.
English
Agentic Variation Operators (AVO) are a new family of evolutionary variation operators that replace the fixed mutation, crossover, and hand-designed heuristics of classical evolutionary search with autonomous coding agents. Rather than confining a language model to candidate generation within a prescribed pipeline, AVO instantiates variation as a self-directed agent loop that can consult the current lineage, a domain-specific knowledge base, and execution feedback to propose, repair, critique, and verify implementation edits. We evaluate AVO on attention, among the most aggressively optimized kernel targets in AI, on NVIDIA Blackwell (B200) GPUs. Over 7 days of continuous autonomous evolution on multi-head attention, AVO discovers kernels that outperform cuDNN by up to 3.5% and FlashAttention-4 by up to 10.5% across the evaluated configurations. The discovered optimizations transfer readily to grouped-query attention, requiring only 30 minutes of additional autonomous adaptation and yielding gains of up to 7.0% over cuDNN and 9.3% over FlashAttention-4. Together, these results show that agentic variation operators move beyond prior LLM-in-the-loop evolutionary pipelines by elevating the agent from candidate generator to variation operator, and can discover performance-critical micro-architectural optimizations that produce kernels surpassing state-of-the-art expert-engineered attention implementations on today's most advanced GPU hardware.