AVO: Agentiële Variatie-operatoren voor Autonoom Evolutionair Zoeken

Samenvatting

Agentic Variation Operators (AVO) vormen een nieuwe familie van evolutionaire variatie-operatoren die de vaste mutatie, crossover en handmatig ontworpen heuristieken van klassieke evolutionaire zoekopdrachten vervangen door autonome coderingsagenten. In plaats van een taalmodel te beperken tot kandidaatgeneratie binnen een voorgeschreven pijplijn, instantieert AVO variatie als een zelfgestuurd agentlus die de huidige afstammingslijn, een domeinspecifieke kennisbank en uitvoeringsfeedback kan raadplegen om implementatiewijzigingen voor te stellen, te repareren, te bekritiseren en te verifiëren. We evalueren AVO op attention, een van de meest geoptimaliseerde kernel-doelen in AI, op NVIDIA Blackwell (B200) GPU's. Na 7 dagen van continue autonome evolutie op multi-head attention ontdekt AVO kernels die cuDNN met tot 3,5% en FlashAttention-4 met tot 10,5% overtreffen in de geëvalueerde configuraties. De ontdekte optimalisaties zijn eenvoudig over te dragen naar grouped-query attention, waarvoor slechts 30 minuten extra autonome aanpassing nodig is en die winsten opleveren van tot 7,0% ten opzichte van cuDNN en 9,3% ten opzichte van FlashAttention-4. Gezamenlijk tonen deze resultaten aan dat agentic variation operators verder gaan dan eerdere evolutionaire pijplijnen met een LLM-in-de-lus door de agent te verheffen van kandidaatgenerator naar variatie-operator, en dat ze micro-architecturale optimalisaties kunnen ontdekken die kritiek zijn voor de prestaties, waardoor kernels worden geproduceerd die de state-of-the-art, door experts ontworpen attention-implementaties overtreffen op de meest geavanceerde GPU-hardware van vandaag.

English

Agentic Variation Operators (AVO) are a new family of evolutionary variation operators that replace the fixed mutation, crossover, and hand-designed heuristics of classical evolutionary search with autonomous coding agents. Rather than confining a language model to candidate generation within a prescribed pipeline, AVO instantiates variation as a self-directed agent loop that can consult the current lineage, a domain-specific knowledge base, and execution feedback to propose, repair, critique, and verify implementation edits. We evaluate AVO on attention, among the most aggressively optimized kernel targets in AI, on NVIDIA Blackwell (B200) GPUs. Over 7 days of continuous autonomous evolution on multi-head attention, AVO discovers kernels that outperform cuDNN by up to 3.5% and FlashAttention-4 by up to 10.5% across the evaluated configurations. The discovered optimizations transfer readily to grouped-query attention, requiring only 30 minutes of additional autonomous adaptation and yielding gains of up to 7.0% over cuDNN and 9.3% over FlashAttention-4. Together, these results show that agentic variation operators move beyond prior LLM-in-the-loop evolutionary pipelines by elevating the agent from candidate generator to variation operator, and can discover performance-critical micro-architectural optimizations that produce kernels surpassing state-of-the-art expert-engineered attention implementations on today's most advanced GPU hardware.