G-LNS: 大規模近傍探索のための生成的アプローチ - LLMベース自動ヒューリスティック設計

G-LNS: Generative Large Neighborhood Search for LLM-Based Automatic Heuristic Design

February 9, 2026

著者: Baoyun Zhao, He Wang, Liang Zeng

cs.AI

要旨

大規模言語モデル（LLM）は自動ヒューリスティック設計（AHD）において最近有望な成果を示しているが、既存のアプローチでは通常、AHDを構成的優先度規則やパラメータ化された局所探索ガイダンスとして定式化しており、探索空間を固定されたヒューリスティック形式に制限している。このような設計では構造的探索の能力が限られ、複雑な組合せ最適化問題（COP）において深い局所最適解からの脱出が困難となる。本研究では、LLMベースのAHDを大規模近傍探索（LNS）演算子の自動設計に拡張する生成的進化フレームワークであるG-LNSを提案する。従来手法がヒューリスティックを単体で進化させるのに対し、G-LNSはLLMを活用して密結合された破壊演算子と修復演算子のペアを共進化させる。協調的評価メカニズムにより両者の相互作用を明示的に捉えることで、効果的な構造的破壊と再構築を共同で実現する相補的な演算子ロジックの発見を可能にする。巡回セールスマン問題（TSP）や容量制約付き車輛経路問題（CVRP）などの難易度の高いCOPベンチマークにおける大規模な実験により、G-LNSがLLMベースのAHD手法や強力な古典ソルバーを大幅に上回ることを実証した。発見されたヒューリスティックは、計算リソースを削減しながらほぼ最適解を達成するだけでなく、多様な未見インスタンス分布に対して頑健な一般化性能を示す。

English

While Large Language Models (LLMs) have recently shown promise in Automated Heuristic Design (AHD), existing approaches typically formulate AHD around constructive priority rules or parameterized local search guidance, thereby restricting the search space to fixed heuristic forms. Such designs offer limited capacity for structural exploration, making it difficult to escape deep local optima in complex Combinatorial Optimization Problems (COPs). In this work, we propose G-LNS, a generative evolutionary framework that extends LLM-based AHD to the automated design of Large Neighborhood Search (LNS) operators. Unlike prior methods that evolve heuristics in isolation, G-LNS leverages LLMs to co-evolve tightly coupled pairs of destroy and repair operators. A cooperative evaluation mechanism explicitly captures their interaction, enabling the discovery of complementary operator logic that jointly performs effective structural disruption and reconstruction. Extensive experiments on challenging COP benchmarks, such as Traveling Salesman Problems (TSP) and Capacitated Vehicle Routing Problems (CVRP), demonstrate that G-LNS significantly outperforms LLM-based AHD methods as well as strong classical solvers. The discovered heuristics not only achieve near-optimal solutions with reduced computational budgets but also exhibit robust generalization across diverse and unseen instance distributions.