HeurAgenix: 複雑な組合せ最適化課題の解決に向けた大規模言語モデルの活用
HeurAgenix: Leveraging LLMs for Solving Complex Combinatorial Optimization Challenges
June 18, 2025
著者: Xianliang Yang, Ling Zhang, Haolong Qian, Lei Song, Jiang Bian
cs.AI
要旨
ヒューリスティックアルゴリズムは、組み合わせ最適化（CO）問題を解決する上で重要な役割を果たすが、従来の設計は手動の専門知識に大きく依存しており、多様なインスタンスにわたる汎化が困難である。本論文では、大規模言語モデル（LLM）を活用した二段階のハイパーヒューリスティックフレームワークであるHeurAgenixを提案する。このフレームワークは、まずヒューリスティックを進化させ、その後それらを自動的に選択する。ヒューリスティック進化フェーズでは、HeurAgenixはLLMを利用して、シードヒューリスティック解と高品質な解を比較し、再利用可能な進化戦略を抽出する。問題解決中には、LLMの知覚能力に基づいて、各問題状態に対して最も有望なヒューリスティックを動的に選択する。柔軟性を確保するため、このセレクターは最先端のLLMまたは推論コストの低い軽量なファインチューニングモデルのいずれかを使用できる。COの複雑さによる信頼性の高い監視データの不足を緩和するため、選択の嗜好と状態知覚からの信号を共同で活用する二重報酬メカニズムを用いて、軽量なヒューリスティックセレクターをファインチューニングし、ノイズの多い注釈下でも堅牢な選択を可能にする。標準的なベンチマークでの広範な実験により、HeurAgenixが既存のLLMベースのハイパーヒューリスティックを上回るだけでなく、専門的なソルバーにも匹敵またはそれを超える性能を示すことが確認された。コードはhttps://github.com/microsoft/HeurAgenixで公開されている。
English
Heuristic algorithms play a vital role in solving combinatorial optimization
(CO) problems, yet traditional designs depend heavily on manual expertise and
struggle to generalize across diverse instances. We introduce
HeurAgenix, a two-stage hyper-heuristic framework powered by large
language models (LLMs) that first evolves heuristics and then selects among
them automatically. In the heuristic evolution phase, HeurAgenix leverages an
LLM to compare seed heuristic solutions with higher-quality solutions and
extract reusable evolution strategies. During problem solving, it dynamically
picks the most promising heuristic for each problem state, guided by the LLM's
perception ability. For flexibility, this selector can be either a
state-of-the-art LLM or a fine-tuned lightweight model with lower inference
cost. To mitigate the scarcity of reliable supervision caused by CO complexity,
we fine-tune the lightweight heuristic selector with a dual-reward mechanism
that jointly exploits singals from selection preferences and state perception,
enabling robust selection under noisy annotations. Extensive experiments on
canonical benchmarks show that HeurAgenix not only outperforms existing
LLM-based hyper-heuristics but also matches or exceeds specialized solvers.
Code is available at https://github.com/microsoft/HeurAgenix.