G-LNS: Генеративный поиск по большим окрестностям для автоматического проектирования эвристик на основе больших языковых моделей

G-LNS: Generative Large Neighborhood Search for LLM-Based Automatic Heuristic Design

February 9, 2026

Авторы: Baoyun Zhao, He Wang, Liang Zeng

cs.AI

Аннотация

В то время как большие языковые модели (LLM) недавно продемонстрировали потенциал в области автоматизированного проектирования эвристик (AHD), существующие подходы обычно формулируют AHD вокруг конструктивных правил приоритетов или параметризованного руководства локальным поиском, тем самым ограничивая пространство поиска фиксированными формами эвристик. Подобные конструкции обладают ограниченной способностью к структурному исследованию, что затрудняет выход из глубоких локальных оптимумов в сложных задачах комбинаторной оптимизации (КОП). В данной работе мы предлагаем G-LNS, генеративно-эволюционный фреймворк, который расширяет AHD на основе LLM до автоматизированного проектирования операторов поиска в большом окружении (LNS). В отличие от предыдущих методов, которые эволюционируют эвристики изолированно, G-LNS использует LLM для совместной эволюции тесно связанных пар операторов разрушения и восстановления. Механизм кооперативной оценки явно фиксирует их взаимодействие, позволяя обнаруживать взаимодополняющую логику операторов, которая совместно выполняет эффективное структурное нарушение и реконструкцию. Многочисленные эксперименты на сложных benchmarks КОП, таких как задача коммивояжера (TSP) и задача маршрутизации транспортных средств с ограниченной грузоподъемностью (CVRP), демонстрируют, что G-LNS значительно превосходит методы AHD на основе LLM, а также сильные классические решатели. Обнаруженные эвристики не только достигают почти оптимальных решений при сокращенных вычислительных бюджетах, но и демонстрируют robustную генерализацию для разнообразных и ранее не встречавшихся распределений экземпляров задач.

English

While Large Language Models (LLMs) have recently shown promise in Automated Heuristic Design (AHD), existing approaches typically formulate AHD around constructive priority rules or parameterized local search guidance, thereby restricting the search space to fixed heuristic forms. Such designs offer limited capacity for structural exploration, making it difficult to escape deep local optima in complex Combinatorial Optimization Problems (COPs). In this work, we propose G-LNS, a generative evolutionary framework that extends LLM-based AHD to the automated design of Large Neighborhood Search (LNS) operators. Unlike prior methods that evolve heuristics in isolation, G-LNS leverages LLMs to co-evolve tightly coupled pairs of destroy and repair operators. A cooperative evaluation mechanism explicitly captures their interaction, enabling the discovery of complementary operator logic that jointly performs effective structural disruption and reconstruction. Extensive experiments on challenging COP benchmarks, such as Traveling Salesman Problems (TSP) and Capacitated Vehicle Routing Problems (CVRP), demonstrate that G-LNS significantly outperforms LLM-based AHD methods as well as strong classical solvers. The discovered heuristics not only achieve near-optimal solutions with reduced computational budgets but also exhibit robust generalization across diverse and unseen instance distributions.