HeurAgenix: Использование крупных языковых моделей для решения сложных задач комбинаторной оптимизации

HeurAgenix: Leveraging LLMs for Solving Complex Combinatorial Optimization Challenges

June 18, 2025

Авторы: Xianliang Yang, Ling Zhang, Haolong Qian, Lei Song, Jiang Bian

cs.AI

Аннотация

Эвристические алгоритмы играют ключевую роль в решении задач комбинаторной оптимизации (КО), однако традиционные подходы сильно зависят от экспертных знаний и с трудом обобщаются на разнообразные задачи. Мы представляем HeurAgenix — двухэтапный гипер-эвристический фреймворк, основанный на больших языковых моделях (LLM), который сначала развивает эвристики, а затем автоматически выбирает среди них. На этапе эволюции эвристик HeurAgenix использует LLM для сравнения начальных эвристических решений с решениями более высокого качества и извлечения повторно используемых стратегий эволюции. В процессе решения задач он динамически выбирает наиболее подходящую эвристику для каждого состояния задачи, руководствуясь способностью LLM к восприятию. Для гибкости этот селектор может быть либо современной LLM, либо оптимизированной легковесной моделью с меньшими вычислительными затратами. Чтобы компенсировать недостаток надежных данных для обучения из-за сложности задач КО, мы дообучаем легковесный селектор эвристик с использованием механизма двойного вознаграждения, который одновременно учитывает сигналы от предпочтений выбора и восприятия состояния, что позволяет обеспечить устойчивый выбор даже при наличии шума в аннотациях. Эксперименты на стандартных тестовых наборах данных показывают, что HeurAgenix не только превосходит существующие LLM-гипер-эвристики, но также соответствует или превосходит специализированные решатели. Код доступен по адресу https://github.com/microsoft/HeurAgenix.

English

Heuristic algorithms play a vital role in solving combinatorial optimization (CO) problems, yet traditional designs depend heavily on manual expertise and struggle to generalize across diverse instances. We introduce HeurAgenix, a two-stage hyper-heuristic framework powered by large language models (LLMs) that first evolves heuristics and then selects among them automatically. In the heuristic evolution phase, HeurAgenix leverages an LLM to compare seed heuristic solutions with higher-quality solutions and extract reusable evolution strategies. During problem solving, it dynamically picks the most promising heuristic for each problem state, guided by the LLM's perception ability. For flexibility, this selector can be either a state-of-the-art LLM or a fine-tuned lightweight model with lower inference cost. To mitigate the scarcity of reliable supervision caused by CO complexity, we fine-tune the lightweight heuristic selector with a dual-reward mechanism that jointly exploits singals from selection preferences and state perception, enabling robust selection under noisy annotations. Extensive experiments on canonical benchmarks show that HeurAgenix not only outperforms existing LLM-based hyper-heuristics but also matches or exceeds specialized solvers. Code is available at https://github.com/microsoft/HeurAgenix.