G-LNS: Generatieve Grote Omgeving Zoektocht voor Op LLM Gebaseerd Automatisch Heuristisch Ontwerp
G-LNS: Generative Large Neighborhood Search for LLM-Based Automatic Heuristic Design
February 9, 2026
Auteurs: Baoyun Zhao, He Wang, Liang Zeng
cs.AI
Samenvatting
Hoewel Large Language Models (LLM's) recentelijk veelbelovende resultaten hebben getoond in Automated Heuristic Design (AHD), formuleren bestaande benaderingen AHD doorgaans rond constructieve prioriteitsregels of geparametriseerde lokale zoekrichtlijnen, waardoor de zoekruimte wordt beperkt tot vaste heuristische vormen. Dergelijke ontwerpen bieden beperkte mogelijkheden voor structurele verkenning, waardoor het moeilijk is om diepe lokale optima te ontvluchten in complexe Combinatorial Optimization Problems (COPs). In dit werk stellen we G-LNS voor, een generatief evolutionair raamwerk dat op LLM gebaseerde AHD uitbreidt naar het geautomatiseerde ontwerp van Large Neighborhood Search (LNS)-operatoren. In tegenstelling tot eerdere methoden die heuristieken in isolatie evolueren, benut G-LNS LLM's om nauw verbonden paren van destroy- en repair-operatoren mee te co-evolueren. Een coöperatief evaluatiemechanisme vangt hun interactie expliciet, waardoor de ontdekking van complementaire operatorlogica mogelijk wordt die gezamenlijk effectieve structurele verstoring en reconstructie uitvoert. Uitgebreide experimenten op uitdagende COP-benchmarks, zoals Traveling Salesman Problems (TSP) en Capacitated Vehicle Routing Problems (CVRP), tonen aan dat G-LNS significant beter presteert dan op LLM gebaseerde AHD-methoden evenals sterke klassieke oplossers. De ontdekte heuristieken bereiken niet alleen bijna-optimale oplossingen met gereduceerde rekenbudgetten, maar vertonen ook robuuste generalisatie over diverse en onbekende instantiedistributies.
English
While Large Language Models (LLMs) have recently shown promise in Automated Heuristic Design (AHD), existing approaches typically formulate AHD around constructive priority rules or parameterized local search guidance, thereby restricting the search space to fixed heuristic forms. Such designs offer limited capacity for structural exploration, making it difficult to escape deep local optima in complex Combinatorial Optimization Problems (COPs). In this work, we propose G-LNS, a generative evolutionary framework that extends LLM-based AHD to the automated design of Large Neighborhood Search (LNS) operators. Unlike prior methods that evolve heuristics in isolation, G-LNS leverages LLMs to co-evolve tightly coupled pairs of destroy and repair operators. A cooperative evaluation mechanism explicitly captures their interaction, enabling the discovery of complementary operator logic that jointly performs effective structural disruption and reconstruction. Extensive experiments on challenging COP benchmarks, such as Traveling Salesman Problems (TSP) and Capacitated Vehicle Routing Problems (CVRP), demonstrate that G-LNS significantly outperforms LLM-based AHD methods as well as strong classical solvers. The discovered heuristics not only achieve near-optimal solutions with reduced computational budgets but also exhibit robust generalization across diverse and unseen instance distributions.