HeurAgenix: 복잡한 조합 최적화 문제 해결을 위한 대형 언어 모델 활용
HeurAgenix: Leveraging LLMs for Solving Complex Combinatorial Optimization Challenges
June 18, 2025
저자: Xianliang Yang, Ling Zhang, Haolong Qian, Lei Song, Jiang Bian
cs.AI
초록
휴리스틱 알고리즘은 조합 최적화(CO) 문제 해결에 핵심적인 역할을 하지만, 기존의 설계 방식은 수동 전문 지식에 크게 의존하며 다양한 문제 인스턴스 간 일반화에 어려움을 겪습니다. 우리는 대규모 언어 모델(LLM) 기반의 2단계 하이퍼-휴리스틱 프레임워크인 HeurAgenix를 소개합니다. 이 프레임워크는 먼저 휴리스틱을 진화시키고, 이후 이를 자동으로 선택합니다. 휴리스틱 진화 단계에서 HeurAgenix는 LLM을 활용하여 초기 휴리스틱 해결책과 더 높은 품질의 해결책을 비교하고 재사용 가능한 진화 전략을 추출합니다. 문제 해결 과정에서는 LLM의 인지 능력을 기반으로 각 문제 상태에 가장 적합한 휴리스틱을 동적으로 선택합니다. 유연성을 위해 이 선택기는 최신 LLM 또는 추론 비용이 낮은 미세 조정된 경량 모델로 구성될 수 있습니다. CO 문제의 복잡성으로 인한 신뢰할 수 있는 감독 데이터의 부족을 완화하기 위해, 우리는 선택 선호도와 상태 인지에서 나오는 신호를 공동으로 활용하는 이중 보상 메커니즘을 통해 경량 휴리스틱 선택기를 미세 조정하여, 노이즈가 있는 주석 하에서도 견고한 선택이 가능하도록 합니다. 표준 벤치마크에서의 광범위한 실험 결과, HeurAgenix는 기존의 LLM 기반 하이퍼-휴리스틱을 능가할 뿐만 아니라 특화된 솔버와도 동등하거나 더 나은 성능을 보여줍니다. 코드는 https://github.com/microsoft/HeurAgenix에서 확인할 수 있습니다.
English
Heuristic algorithms play a vital role in solving combinatorial optimization
(CO) problems, yet traditional designs depend heavily on manual expertise and
struggle to generalize across diverse instances. We introduce
HeurAgenix, a two-stage hyper-heuristic framework powered by large
language models (LLMs) that first evolves heuristics and then selects among
them automatically. In the heuristic evolution phase, HeurAgenix leverages an
LLM to compare seed heuristic solutions with higher-quality solutions and
extract reusable evolution strategies. During problem solving, it dynamically
picks the most promising heuristic for each problem state, guided by the LLM's
perception ability. For flexibility, this selector can be either a
state-of-the-art LLM or a fine-tuned lightweight model with lower inference
cost. To mitigate the scarcity of reliable supervision caused by CO complexity,
we fine-tune the lightweight heuristic selector with a dual-reward mechanism
that jointly exploits singals from selection preferences and state perception,
enabling robust selection under noisy annotations. Extensive experiments on
canonical benchmarks show that HeurAgenix not only outperforms existing
LLM-based hyper-heuristics but also matches or exceeds specialized solvers.
Code is available at https://github.com/microsoft/HeurAgenix.