G-LNS: LLM 기반 자동 휴리스틱 설계를 위한 생성적 대규모 이웃 탐색

G-LNS: Generative Large Neighborhood Search for LLM-Based Automatic Heuristic Design

February 9, 2026

저자: Baoyun Zhao, He Wang, Liang Zeng

cs.AI

초록

대규모 언어 모델(LLM)이 최근 자동 휴리스틱 설계(AHD) 분야에서 유망한 성과를 보였지만, 기존 접근법은 일반적으로 AHD를 구성적 우선순위 규칙이나 매개변수화된 지역 탐색 지도 방식으로 정형화하여 탐색 공간을 고정된 휴리스틱 형태로 제한해왔습니다. 이러한 설계는 구조적 탐색 능력이 제한적이어서 복잡한 조합 최적화 문제(COP)에서 깊은 지역 최적점을 벗어나기 어렵습니다. 본 연구에서는 LLM 기반 AHD를 대규모 이웃 탐색(LNS) 연산자 자동 설계로 확장하는 생성형 진화 프레임워크인 G-LNS를 제안합니다. 기존 방법들이 휴리스틱을 독립적으로 진화시킨 것과 달리, G-LNS는 LLM을 활용하여 긴밀하게 결합된 파괴 및 복구 연산자 쌍을 공동 진화시킵니다. 협력적 평가 메커니즘은 이들 간의 상호작용을 명시적으로 포착하여, 효과적인 구조적 파괴와 재구성을 함께 수행하는 상호 보완적인 연산자 논리의 발견을 가능하게 합니다. 여행하는 외판원 문제(TSP) 및 용량 제약이 있는 차량 경로 문제(CVRP)와 같은 난제 COP 벤치마크에 대한 광범위한 실험을 통해 G-LNS가 LLM 기반 AHD 방법과 강력한 고전 솔버들을 크게 능가함을 입증했습니다. 발견된 휴리스틱은 계산 비용을 줄여 거의 최적에 가까운 해를 달성할 뿐만 아니라, 다양하고 보지 못한 인스턴스 분포에 걸쳐 강건한 일반화 성능을 보여줍니다.

English

While Large Language Models (LLMs) have recently shown promise in Automated Heuristic Design (AHD), existing approaches typically formulate AHD around constructive priority rules or parameterized local search guidance, thereby restricting the search space to fixed heuristic forms. Such designs offer limited capacity for structural exploration, making it difficult to escape deep local optima in complex Combinatorial Optimization Problems (COPs). In this work, we propose G-LNS, a generative evolutionary framework that extends LLM-based AHD to the automated design of Large Neighborhood Search (LNS) operators. Unlike prior methods that evolve heuristics in isolation, G-LNS leverages LLMs to co-evolve tightly coupled pairs of destroy and repair operators. A cooperative evaluation mechanism explicitly captures their interaction, enabling the discovery of complementary operator logic that jointly performs effective structural disruption and reconstruction. Extensive experiments on challenging COP benchmarks, such as Traveling Salesman Problems (TSP) and Capacitated Vehicle Routing Problems (CVRP), demonstrate that G-LNS significantly outperforms LLM-based AHD methods as well as strong classical solvers. The discovered heuristics not only achieve near-optimal solutions with reduced computational budgets but also exhibit robust generalization across diverse and unseen instance distributions.