HeurAgenix: Sfruttare i Modelli Linguistici di Grande Dimensione per Risolvere Sfide Complesse di Ottimizzazione Combinatoria

HeurAgenix: Leveraging LLMs for Solving Complex Combinatorial Optimization Challenges

June 18, 2025

Autori: Xianliang Yang, Ling Zhang, Haolong Qian, Lei Song, Jiang Bian

cs.AI

Abstract

Gli algoritmi euristici svolgono un ruolo cruciale nella risoluzione di problemi di ottimizzazione combinatoria (CO), tuttavia i progetti tradizionali dipendono fortemente dall'esperienza manuale e faticano a generalizzare su istanze diverse. Presentiamo HeurAgenix, un framework iper-euristico a due fasi alimentato da modelli linguistici di grandi dimensioni (LLM) che prima evolve euristiche e poi le seleziona automaticamente. Nella fase di evoluzione euristica, HeurAgenix utilizza un LLM per confrontare soluzioni euristiche iniziali con soluzioni di qualità superiore ed estrarre strategie di evoluzione riutilizzabili. Durante la risoluzione dei problemi, seleziona dinamicamente l'euristica più promettente per ogni stato del problema, guidato dalla capacità percettiva dell'LLM. Per maggiore flessibilità, questo selettore può essere un LLM all'avanguardia o un modello leggero fine-tuned con costi di inferenza inferiori. Per mitigare la scarsità di supervisione affidabile causata dalla complessità della CO, ottimizziamo il selettore euristico leggero con un meccanismo a doppia ricompensa che sfrutta congiuntamente segnali dalle preferenze di selezione e dalla percezione dello stato, consentendo una selezione robusta anche in presenza di annotazioni rumorose. Esperimenti estesi su benchmark canonici dimostrano che HeurAgenix non solo supera le iper-euristiche basate su LLM esistenti, ma eguaglia o supera anche i risolutori specializzati. Il codice è disponibile all'indirizzo https://github.com/microsoft/HeurAgenix.

English

Heuristic algorithms play a vital role in solving combinatorial optimization (CO) problems, yet traditional designs depend heavily on manual expertise and struggle to generalize across diverse instances. We introduce HeurAgenix, a two-stage hyper-heuristic framework powered by large language models (LLMs) that first evolves heuristics and then selects among them automatically. In the heuristic evolution phase, HeurAgenix leverages an LLM to compare seed heuristic solutions with higher-quality solutions and extract reusable evolution strategies. During problem solving, it dynamically picks the most promising heuristic for each problem state, guided by the LLM's perception ability. For flexibility, this selector can be either a state-of-the-art LLM or a fine-tuned lightweight model with lower inference cost. To mitigate the scarcity of reliable supervision caused by CO complexity, we fine-tune the lightweight heuristic selector with a dual-reward mechanism that jointly exploits singals from selection preferences and state perception, enabling robust selection under noisy annotations. Extensive experiments on canonical benchmarks show that HeurAgenix not only outperforms existing LLM-based hyper-heuristics but also matches or exceeds specialized solvers. Code is available at https://github.com/microsoft/HeurAgenix.