AVO: Агентные операторы вариации для автономного эволюционного поиска
AVO: Agentic Variation Operators for Autonomous Evolutionary Search
March 25, 2026
Авторы: Terry Chen, Zhifan Ye, Bing Xu, Zihao Ye, Timmy Liu, Ali Hassani, Tianqi Chen, Andrew Kerr, Haicheng Wu, Yang Xu, Yu-Jung Chen, Hanfeng Chen, Aditya Kane, Ronny Krashinsky, Ming-Yu Liu, Vinod Grover, Luis Ceze, Roger Bringmann, John Tran, Wei Liu, Fung Xie, Michael Lightstone, Humphrey Shi
cs.AI
Аннотация
Агентные операторы вариации (AVO) представляют новое семейство эволюционных операторов вариации, которые заменяют фиксированные мутации, скрещивание и разработанные вручную эвристики классического эволюционного поиска автономными программными агентами. Вместо того чтобы ограничивать языковую модель генерацией кандидатов в рамках предписанного конвейера, AVO реализует вариацию как самоуправляемый агентный цикл, который может обращаться к текущей линии предков, предметно-ориентированной базе знаний и обратной связи от выполнения, чтобы предлагать, исправлять, критиковать и проверять правки в реализации. Мы оцениваем AVO на задаче оптимизации ядра внимания — одной из наиболее интенсивно оптимизируемых целей в области ИИ — на GPU NVIDIA Blackwell (B200). За 7 дней непрерывной автономной эволюции для многоголового внимания AVO обнаруживает ядра, которые превосходят cuDNN до 3.5% и FlashAttention-4 до 10.5% во всех оцениваемых конфигурациях. Обнаруженные оптимизации успешно переносятся на групповое запросное внимание, требуя всего 30 минут дополнительной автономной адаптации и обеспечивая прирост до 7.0% по сравнению с cuDNN и 9.3% по сравнению с FlashAttention-4. В совокупности эти результаты показывают, что агентные операторы вариации выходят за рамки предыдущих эволюционных конвейеров с участием LLM, повышая роль агента от генератора кандидатов до оператора вариации, и способны обнаруживать критически важные для производительности микроархитектурные оптимизации, которые создают ядра, превосходящие современные экспертно-разработанные реализации механизма внимания на передовом GPU-оборудовании.
English
Agentic Variation Operators (AVO) are a new family of evolutionary variation operators that replace the fixed mutation, crossover, and hand-designed heuristics of classical evolutionary search with autonomous coding agents. Rather than confining a language model to candidate generation within a prescribed pipeline, AVO instantiates variation as a self-directed agent loop that can consult the current lineage, a domain-specific knowledge base, and execution feedback to propose, repair, critique, and verify implementation edits. We evaluate AVO on attention, among the most aggressively optimized kernel targets in AI, on NVIDIA Blackwell (B200) GPUs. Over 7 days of continuous autonomous evolution on multi-head attention, AVO discovers kernels that outperform cuDNN by up to 3.5% and FlashAttention-4 by up to 10.5% across the evaluated configurations. The discovered optimizations transfer readily to grouped-query attention, requiring only 30 minutes of additional autonomous adaptation and yielding gains of up to 7.0% over cuDNN and 9.3% over FlashAttention-4. Together, these results show that agentic variation operators move beyond prior LLM-in-the-loop evolutionary pipelines by elevating the agent from candidate generator to variation operator, and can discover performance-critical micro-architectural optimizations that produce kernels surpassing state-of-the-art expert-engineered attention implementations on today's most advanced GPU hardware.