AVO : Opérateurs de Variation Agentiques pour la Recherche Évolutionnaire Autonome
AVO: Agentic Variation Operators for Autonomous Evolutionary Search
March 25, 2026
Auteurs: Terry Chen, Zhifan Ye, Bing Xu, Zihao Ye, Timmy Liu, Ali Hassani, Tianqi Chen, Andrew Kerr, Haicheng Wu, Yang Xu, Yu-Jung Chen, Hanfeng Chen, Aditya Kane, Ronny Krashinsky, Ming-Yu Liu, Vinod Grover, Luis Ceze, Roger Bringmann, John Tran, Wei Liu, Fung Xie, Michael Lightstone, Humphrey Shi
cs.AI
Résumé
Les opérateurs de variation agentiques (AVO) constituent une nouvelle famille d'opérateurs de variation évolutionnistes qui remplacent les opérateurs de mutation fixes, de croisement et les heuristiques manuelles de la recherche évolutionniste classique par des agents de codage autonomes. Au lieu de cantonner un modèle de langage à la génération de candidats dans un pipeline prédéfini, AVO matérialise la variation sous la forme d'une boucle agentique autonome capable de consulter la lignée actuelle, une base de connaissances spécifique au domaine et les retours d'exécution pour proposer, corriger, critiquer et vérifier des modifications d'implémentation. Nous évaluons AVO sur l'attention, l'une des cibles de noyau les plus intensivement optimisées en IA, sur les GPU NVIDIA Blackwell (B200). Après 7 jours d'évolution autonome continue sur l'attention multi-têtes, AVO découvre des noyaux qui surpassent cuDNN jusqu'à 3,5 % et FlashAttention-4 jusqu'à 10,5 % sur l'ensemble des configurations évaluées. Les optimisations découvertes se transfèrent facilement à l'attention à requêtes groupées, ne nécessitant que 30 minutes d'adaptation autonome supplémentaire et produisant des gains allant jusqu'à 7,0 % par rapport à cuDNN et 9,3 % par rapport à FlashAttention-4. Ensemble, ces résultats montrent que les opérateurs de variation agentiques dépassent les pipelines évolutionnistes antérieurs intégrant des LLM en élevant l'agent du statut de générateur de candidats à celui d'opérateur de variation, et peuvent découvrir des optimisations micro-architecturales critiques pour les performances, produisant des noyaux qui surpassent les implémentations d'attention expertes de pointe sur le matériel GPU le plus avancé actuellement disponible.
English
Agentic Variation Operators (AVO) are a new family of evolutionary variation operators that replace the fixed mutation, crossover, and hand-designed heuristics of classical evolutionary search with autonomous coding agents. Rather than confining a language model to candidate generation within a prescribed pipeline, AVO instantiates variation as a self-directed agent loop that can consult the current lineage, a domain-specific knowledge base, and execution feedback to propose, repair, critique, and verify implementation edits. We evaluate AVO on attention, among the most aggressively optimized kernel targets in AI, on NVIDIA Blackwell (B200) GPUs. Over 7 days of continuous autonomous evolution on multi-head attention, AVO discovers kernels that outperform cuDNN by up to 3.5% and FlashAttention-4 by up to 10.5% across the evaluated configurations. The discovered optimizations transfer readily to grouped-query attention, requiring only 30 minutes of additional autonomous adaptation and yielding gains of up to 7.0% over cuDNN and 9.3% over FlashAttention-4. Together, these results show that agentic variation operators move beyond prior LLM-in-the-loop evolutionary pipelines by elevating the agent from candidate generator to variation operator, and can discover performance-critical micro-architectural optimizations that produce kernels surpassing state-of-the-art expert-engineered attention implementations on today's most advanced GPU hardware.