HeurAgenix : Exploiter les LLM pour résoudre des défis complexes d'optimisation combinatoire

HeurAgenix: Leveraging LLMs for Solving Complex Combinatorial Optimization Challenges

June 18, 2025

Auteurs: Xianliang Yang, Ling Zhang, Haolong Qian, Lei Song, Jiang Bian

cs.AI

Résumé

Les algorithmes heuristiques jouent un rôle crucial dans la résolution des problèmes d'optimisation combinatoire (OC), mais les conceptions traditionnelles dépendent fortement de l'expertise manuelle et peinent à généraliser leurs performances sur des instances diverses. Nous présentons HeurAgenix, un cadre hyper-heuristique en deux étapes alimenté par des modèles de langage de grande taille (LLM), qui évolue d'abord des heuristiques puis les sélectionne automatiquement. Dans la phase d'évolution des heuristiques, HeurAgenix utilise un LLM pour comparer des solutions heuristiques initiales avec des solutions de meilleure qualité et en extraire des stratégies d'évolution réutilisables. Pendant la résolution de problèmes, il choisit dynamiquement l'heuristique la plus prometteuse pour chaque état du problème, guidé par la capacité de perception du LLM. Pour plus de flexibilité, ce sélecteur peut être soit un LLM de pointe, soit un modèle léger affiné avec un coût d'inférence réduit. Pour atténuer la rareté des supervisions fiables causée par la complexité des OC, nous affinons le sélecteur heuristique léger avec un mécanisme de double récompense qui exploite conjointement les signaux des préférences de sélection et de la perception de l'état, permettant une sélection robuste malgré les annotations bruitées. Des expériences approfondies sur des benchmarks canoniques montrent que HeurAgenix surpasse non seulement les hyper-heuristiques basées sur des LLM existantes, mais rivalise ou dépasse également les solveurs spécialisés. Le code est disponible à l'adresse https://github.com/microsoft/HeurAgenix.

English

Heuristic algorithms play a vital role in solving combinatorial optimization (CO) problems, yet traditional designs depend heavily on manual expertise and struggle to generalize across diverse instances. We introduce HeurAgenix, a two-stage hyper-heuristic framework powered by large language models (LLMs) that first evolves heuristics and then selects among them automatically. In the heuristic evolution phase, HeurAgenix leverages an LLM to compare seed heuristic solutions with higher-quality solutions and extract reusable evolution strategies. During problem solving, it dynamically picks the most promising heuristic for each problem state, guided by the LLM's perception ability. For flexibility, this selector can be either a state-of-the-art LLM or a fine-tuned lightweight model with lower inference cost. To mitigate the scarcity of reliable supervision caused by CO complexity, we fine-tune the lightweight heuristic selector with a dual-reward mechanism that jointly exploits singals from selection preferences and state perception, enabling robust selection under noisy annotations. Extensive experiments on canonical benchmarks show that HeurAgenix not only outperforms existing LLM-based hyper-heuristics but also matches or exceeds specialized solvers. Code is available at https://github.com/microsoft/HeurAgenix.