AVO: Operadores de Variación Agéntica para Búsqueda Evolutiva Autónoma
AVO: Agentic Variation Operators for Autonomous Evolutionary Search
March 25, 2026
Autores: Terry Chen, Zhifan Ye, Bing Xu, Zihao Ye, Timmy Liu, Ali Hassani, Tianqi Chen, Andrew Kerr, Haicheng Wu, Yang Xu, Yu-Jung Chen, Hanfeng Chen, Aditya Kane, Ronny Krashinsky, Ming-Yu Liu, Vinod Grover, Luis Ceze, Roger Bringmann, John Tran, Wei Liu, Fung Xie, Michael Lightstone, Humphrey Shi
cs.AI
Resumen
Los Operadores de Variación Agéntica (AVO) constituyen una nueva familia de operadores de variación evolutiva que reemplazan la mutación fija, el cruce y las heurísticas diseñadas a mano de la búsqueda evolutiva clásica con agentes de codificación autónomos. En lugar de confinar un modelo de lenguaje a la generación de candidatos dentro de un pipeline predefinido, AVO instancia la variación como un bucle agente autodirigido que puede consultar el linaje actual, una base de conocimiento específica del dominio y la retroalimentación de ejecución para proponer, reparar, criticar y verificar ediciones de implementación. Evaluamos AVO en la atención (attention), uno de los objetivos de kernel más intensivamente optimizados en IA, en GPUs NVIDIA Blackwell (B200). Tras 7 días de evolución autónoma continua en atención multi-cabezal (multi-head attention), AVO descubre kernels que superan a cuDNN hasta en un 3.5% y a FlashAttention-4 hasta en un 10.5% en las configuraciones evaluadas. Las optimizaciones descubiertas se transfieren fácilmente a la atención de consultas agrupadas (grouped-query attention), requiriendo solo 30 minutos de adaptación autónoma adicional y produciendo ganancias de hasta el 7.0% sobre cuDNN y del 9.3% sobre FlashAttention-4. En conjunto, estos resultados demuestran que los operadores de variación agéntica van más allá de los pipelines evolutivos previos que incorporaban LLMs, al elevar al agente de generador de candidatos a operador de variación, y pueden descubrir optimizaciones micro-arquitectónicas críticas para el rendimiento que producen kernels que superan a las implementaciones de atención de última generación diseñadas por expertos en el hardware de GPU más avanzado actual.
English
Agentic Variation Operators (AVO) are a new family of evolutionary variation operators that replace the fixed mutation, crossover, and hand-designed heuristics of classical evolutionary search with autonomous coding agents. Rather than confining a language model to candidate generation within a prescribed pipeline, AVO instantiates variation as a self-directed agent loop that can consult the current lineage, a domain-specific knowledge base, and execution feedback to propose, repair, critique, and verify implementation edits. We evaluate AVO on attention, among the most aggressively optimized kernel targets in AI, on NVIDIA Blackwell (B200) GPUs. Over 7 days of continuous autonomous evolution on multi-head attention, AVO discovers kernels that outperform cuDNN by up to 3.5% and FlashAttention-4 by up to 10.5% across the evaluated configurations. The discovered optimizations transfer readily to grouped-query attention, requiring only 30 minutes of additional autonomous adaptation and yielding gains of up to 7.0% over cuDNN and 9.3% over FlashAttention-4. Together, these results show that agentic variation operators move beyond prior LLM-in-the-loop evolutionary pipelines by elevating the agent from candidate generator to variation operator, and can discover performance-critical micro-architectural optimizations that produce kernels surpassing state-of-the-art expert-engineered attention implementations on today's most advanced GPU hardware.