G-LNS: Generatives Großnachbarschaftssuche für LLM-basiertes automatisches Heuristikdesign
G-LNS: Generative Large Neighborhood Search for LLM-Based Automatic Heuristic Design
February 9, 2026
papers.authors: Baoyun Zhao, He Wang, Liang Zeng
cs.AI
papers.abstract
Während Large Language Models (LLMs) kürzlich vielversprechende Ergebnisse im Bereich des automatisierten Heuristik-Designs (Automated Heuristic Design, AHD) gezeigt haben, formulieren bestehende Ansätze AHD typischerweise um konstruktive Prioritätsregeln oder parametrisierte Lokale-Suche-Steuerungen herum. Dadurch wird der Suchraum auf feste Heuristik-Formen beschränkt. Solche Designs bieten nur begrenzte Möglichkeiten für strukturelle Exploration, was es schwierig macht, tiefe lokale Optima in komplexen kombinatorischen Optimierungsproblemen (Combinatorial Optimization Problems, COPs) zu verlassen. In dieser Arbeit schlagen wir G-LNS vor, einen generativ-evolutionären Rahmen, der LLM-basiertes AHD auf den automatischen Entwurf von Large Neighborhood Search (LNS)-Operatoren erweitert. Im Gegensatz zu früheren Methoden, die Heuristiken isoliert entwickeln, nutzt G-LNS LLMs, um eng gekoppelte Paare von Zerstörungs- und Reparatur-Operatoren ko-evolutiv zu entwickeln. Ein kooperativer Bewertungsmechanismus erfasst explizit ihre Interaktion und ermöglicht die Entdeckung komplementärer Operatorlogik, die gemeinsam eine effektive strukturelle Zerstörung und Rekonstruktion durchführt. Umfangreiche Experimente mit anspruchsvollen COP-Benchmarks, wie dem Problem des Handlungsreisenden (Traveling Salesman Problem, TSP) und kapazitätsbeschränkten Tourenplanungsproblemen (Capacitated Vehicle Routing Problem, CVRP), zeigen, dass G-LNS LLM-basierte AHD-Methoden sowie starke klassische Löser signifikant übertrifft. Die entdeckten Heuristiken erreichen nicht nur nahezu optimale Lösungen mit reduzierten Rechenbudgets, sondern zeigen auch eine robuste Generalisierung über verschiedene und ungesehene Instanzverteilungen hinweg.
English
While Large Language Models (LLMs) have recently shown promise in Automated Heuristic Design (AHD), existing approaches typically formulate AHD around constructive priority rules or parameterized local search guidance, thereby restricting the search space to fixed heuristic forms. Such designs offer limited capacity for structural exploration, making it difficult to escape deep local optima in complex Combinatorial Optimization Problems (COPs). In this work, we propose G-LNS, a generative evolutionary framework that extends LLM-based AHD to the automated design of Large Neighborhood Search (LNS) operators. Unlike prior methods that evolve heuristics in isolation, G-LNS leverages LLMs to co-evolve tightly coupled pairs of destroy and repair operators. A cooperative evaluation mechanism explicitly captures their interaction, enabling the discovery of complementary operator logic that jointly performs effective structural disruption and reconstruction. Extensive experiments on challenging COP benchmarks, such as Traveling Salesman Problems (TSP) and Capacitated Vehicle Routing Problems (CVRP), demonstrate that G-LNS significantly outperforms LLM-based AHD methods as well as strong classical solvers. The discovered heuristics not only achieve near-optimal solutions with reduced computational budgets but also exhibit robust generalization across diverse and unseen instance distributions.