G-LNS : Recherche à Grand Voisinage Générative pour la Conception Automatique d'Heuristiques Basée sur les LLM
G-LNS: Generative Large Neighborhood Search for LLM-Based Automatic Heuristic Design
February 9, 2026
papers.authors: Baoyun Zhao, He Wang, Liang Zeng
cs.AI
papers.abstract
Si les grands modèles de langage (LLM) ont récemment montré des résultats prometteurs dans la conception automatisée d'heuristiques (AHD), les approches existantes formulent généralement l'AHD autour de règles de priorité constructives ou de guides de recherche locale paramétrés, limitant ainsi l'espace de recherche à des formes heuristiques fixes. Ces conceptions offrent une capacité limitée d'exploration structurelle, rendant difficile l'échappement d'optima locaux profonds dans les problèmes d'optimisation combinatoire (POC) complexes. Dans ce travail, nous proposons G-LNS, un cadre évolutionnaire génératif qui étend l'AHD basée sur les LLM à la conception automatisée d'opérateurs de recherche à grand voisinage (LNS). Contrairement aux méthodes antérieures qui font évoluer les heuristiques de manière isolée, G-LNS utilise les LLM pour co-évoluer des paires étroitement couplées d'opérateurs de destruction et de réparation. Un mécanisme d'évaluation coopératif capture explicitement leur interaction, permettant la découverte de logiques opératoires complémentaires qui réalisent conjointement une perturbation et une reconstruction structurelles efficaces. Des expériences approfondies sur des benchmarks exigeants de POC, tels que les problèmes du voyageur de commerce (PVC) et les problèmes de tournées de véhicules capacités (CVRP), démontrent que G-LNS surpasse significativement les méthodes AHD basées sur les LLM ainsi que les solvers classiques robustes. Les heuristiques découvertes atteignent non seulement des solutions quasi-optimales avec des budgets computationnels réduits, mais présentent également une généralisation robuste sur des distributions d'instances diverses et inédites.
English
While Large Language Models (LLMs) have recently shown promise in Automated Heuristic Design (AHD), existing approaches typically formulate AHD around constructive priority rules or parameterized local search guidance, thereby restricting the search space to fixed heuristic forms. Such designs offer limited capacity for structural exploration, making it difficult to escape deep local optima in complex Combinatorial Optimization Problems (COPs). In this work, we propose G-LNS, a generative evolutionary framework that extends LLM-based AHD to the automated design of Large Neighborhood Search (LNS) operators. Unlike prior methods that evolve heuristics in isolation, G-LNS leverages LLMs to co-evolve tightly coupled pairs of destroy and repair operators. A cooperative evaluation mechanism explicitly captures their interaction, enabling the discovery of complementary operator logic that jointly performs effective structural disruption and reconstruction. Extensive experiments on challenging COP benchmarks, such as Traveling Salesman Problems (TSP) and Capacitated Vehicle Routing Problems (CVRP), demonstrate that G-LNS significantly outperforms LLM-based AHD methods as well as strong classical solvers. The discovered heuristics not only achieve near-optimal solutions with reduced computational budgets but also exhibit robust generalization across diverse and unseen instance distributions.