HeurAgenix: Nutzung von LLMs zur Lösung komplexer kombinatorischer Optimierungsprobleme

HeurAgenix: Leveraging LLMs for Solving Complex Combinatorial Optimization Challenges

June 18, 2025

Autoren: Xianliang Yang, Ling Zhang, Haolong Qian, Lei Song, Jiang Bian

cs.AI

Zusammenfassung

Heuristische Algorithmen spielen eine entscheidende Rolle bei der Lösung kombinatorischer Optimierungsprobleme (CO), doch traditionelle Entwürfe sind stark von manueller Expertise abhängig und haben Schwierigkeiten, sich über verschiedene Instanzen hinweg zu verallgemeinern. Wir stellen HeurAgenix vor, ein zweistufiges Hyper-Heuristik-Framework, das von großen Sprachmodellen (LLMs) angetrieben wird und zunächst Heuristiken entwickelt und dann automatisch unter ihnen auswählt. In der Phase der Heuristik-Entwicklung nutzt HeurAgenix ein LLM, um Ausgangslösungen von Heuristiken mit qualitativ hochwertigeren Lösungen zu vergleichen und wiederverwendbare Entwicklungsstrategien zu extrahieren. Während der Problemlösung wählt es dynamisch die vielversprechendste Heuristik für jeden Problemzustand aus, geleitet von der Wahrnehmungsfähigkeit des LLMs. Für Flexibilität kann dieser Selektor entweder ein modernes LLM oder ein feinabgestimmtes, leichtgewichtiges Modell mit geringeren Inferenzkosten sein. Um die Knappheit zuverlässiger Aufsicht aufgrund der Komplexität von CO zu mildern, feinabstimmen wir den leichtgewichtigen Heuristik-Selektor mit einem dualen Belohnungsmechanismus, der sowohl Signale aus Auswahlpräferenzen als auch Zustandswahrnehmung nutzt, was eine robuste Auswahl unter verrauschten Annotationen ermöglicht. Umfangreiche Experimente auf kanonischen Benchmarks zeigen, dass HeurAgenix nicht nur bestehende LLM-basierte Hyper-Heuristiken übertrifft, sondern auch spezialisierte Solver erreicht oder übertrifft. Der Code ist verfügbar unter https://github.com/microsoft/HeurAgenix.

English

Heuristic algorithms play a vital role in solving combinatorial optimization (CO) problems, yet traditional designs depend heavily on manual expertise and struggle to generalize across diverse instances. We introduce HeurAgenix, a two-stage hyper-heuristic framework powered by large language models (LLMs) that first evolves heuristics and then selects among them automatically. In the heuristic evolution phase, HeurAgenix leverages an LLM to compare seed heuristic solutions with higher-quality solutions and extract reusable evolution strategies. During problem solving, it dynamically picks the most promising heuristic for each problem state, guided by the LLM's perception ability. For flexibility, this selector can be either a state-of-the-art LLM or a fine-tuned lightweight model with lower inference cost. To mitigate the scarcity of reliable supervision caused by CO complexity, we fine-tune the lightweight heuristic selector with a dual-reward mechanism that jointly exploits singals from selection preferences and state perception, enabling robust selection under noisy annotations. Extensive experiments on canonical benchmarks show that HeurAgenix not only outperforms existing LLM-based hyper-heuristics but also matches or exceeds specialized solvers. Code is available at https://github.com/microsoft/HeurAgenix.