HeurAgenix: Benutten van LLM's voor het Oplossen van Complexe Combinatorische Optimalisatieproblemen

HeurAgenix: Leveraging LLMs for Solving Complex Combinatorial Optimization Challenges

June 18, 2025

Auteurs: Xianliang Yang, Ling Zhang, Haolong Qian, Lei Song, Jiang Bian

cs.AI

Samenvatting

Heuristische algoritmen spelen een cruciale rol bij het oplossen van combinatorische optimalisatieproblemen (CO), maar traditionele ontwerpen zijn sterk afhankelijk van handmatige expertise en hebben moeite om te generaliseren over diverse instanties. Wij introduceren HeurAgenix, een tweefasen hyper-heuristisch raamwerk aangedreven door grote taalmodellen (LLM's) dat eerst heuristieken ontwikkelt en vervolgens automatisch daartussen selecteert. In de heuristische evolutiefase benut HeurAgenix een LLM om seed-heuristische oplossingen te vergelijken met oplossingen van hogere kwaliteit en herbruikbare evolutiestrategieën te extraheren. Tijdens het oplossen van problemen kiest het dynamisch de meest veelbelovende heuristiek voor elke probleemtoestand, geleid door het waarnemingsvermogen van het LLM. Voor flexibiliteit kan deze selector een state-of-the-art LLM zijn of een fijn afgestemd lichtgewicht model met lagere inferentiekosten. Om het gebrek aan betrouwbare supervisie veroorzaakt door de complexiteit van CO te verminderen, stellen we de lichtgewicht heuristische selector af met een dubbele beloningsmechanisme dat gezamenlijk gebruikmaakt van signalen uit selectievoorkeuren en toestandswaarneming, waardoor robuuste selectie mogelijk wordt onder ruisachtige annotaties. Uitgebreide experimenten op canonieke benchmarks tonen aan dat HeurAgenix niet alleen bestaande LLM-gebaseerde hyper-heuristieken overtreft, maar ook gespecialiseerde oplossers evenaart of overstijgt. Code is beschikbaar op https://github.com/microsoft/HeurAgenix.

English

Heuristic algorithms play a vital role in solving combinatorial optimization (CO) problems, yet traditional designs depend heavily on manual expertise and struggle to generalize across diverse instances. We introduce HeurAgenix, a two-stage hyper-heuristic framework powered by large language models (LLMs) that first evolves heuristics and then selects among them automatically. In the heuristic evolution phase, HeurAgenix leverages an LLM to compare seed heuristic solutions with higher-quality solutions and extract reusable evolution strategies. During problem solving, it dynamically picks the most promising heuristic for each problem state, guided by the LLM's perception ability. For flexibility, this selector can be either a state-of-the-art LLM or a fine-tuned lightweight model with lower inference cost. To mitigate the scarcity of reliable supervision caused by CO complexity, we fine-tune the lightweight heuristic selector with a dual-reward mechanism that jointly exploits singals from selection preferences and state perception, enabling robust selection under noisy annotations. Extensive experiments on canonical benchmarks show that HeurAgenix not only outperforms existing LLM-based hyper-heuristics but also matches or exceeds specialized solvers. Code is available at https://github.com/microsoft/HeurAgenix.