HeurAgenix: Aprovechamiento de los LLM para Resolver Desafíos Complejos de Optimización Combinatoria

HeurAgenix: Leveraging LLMs for Solving Complex Combinatorial Optimization Challenges

June 18, 2025

Autores: Xianliang Yang, Ling Zhang, Haolong Qian, Lei Song, Jiang Bian

cs.AI

Resumen

Los algoritmos heurísticos desempeñan un papel fundamental en la resolución de problemas de optimización combinatoria (CO), aunque los diseños tradicionales dependen en gran medida de la experiencia manual y tienen dificultades para generalizar en instancias diversas. Presentamos HeurAgenix, un marco de hiperheurística de dos etapas impulsado por modelos de lenguaje grandes (LLMs) que primero evoluciona heurísticas y luego las selecciona automáticamente. En la fase de evolución heurística, HeurAgenix aprovecha un LLM para comparar soluciones heurísticas iniciales con soluciones de mayor calidad y extraer estrategias de evolución reutilizables. Durante la resolución de problemas, selecciona dinámicamente la heurística más prometedora para cada estado del problema, guiado por la capacidad de percepción del LLM. Para mayor flexibilidad, este selector puede ser un LLM de última generación o un modelo ligero ajustado con menor costo de inferencia. Para mitigar la escasez de supervisión confiable causada por la complejidad del CO, ajustamos el selector heurístico ligero con un mecanismo de doble recompensa que aprovecha conjuntamente señales de preferencias de selección y percepción del estado, permitiendo una selección robusta bajo anotaciones ruidosas. Experimentos extensos en benchmarks canónicos muestran que HeurAgenix no solo supera a las hiperheurísticas basadas en LLM existentes, sino que también iguala o supera a solucionadores especializados. El código está disponible en https://github.com/microsoft/HeurAgenix.

English

Heuristic algorithms play a vital role in solving combinatorial optimization (CO) problems, yet traditional designs depend heavily on manual expertise and struggle to generalize across diverse instances. We introduce HeurAgenix, a two-stage hyper-heuristic framework powered by large language models (LLMs) that first evolves heuristics and then selects among them automatically. In the heuristic evolution phase, HeurAgenix leverages an LLM to compare seed heuristic solutions with higher-quality solutions and extract reusable evolution strategies. During problem solving, it dynamically picks the most promising heuristic for each problem state, guided by the LLM's perception ability. For flexibility, this selector can be either a state-of-the-art LLM or a fine-tuned lightweight model with lower inference cost. To mitigate the scarcity of reliable supervision caused by CO complexity, we fine-tune the lightweight heuristic selector with a dual-reward mechanism that jointly exploits singals from selection preferences and state perception, enabling robust selection under noisy annotations. Extensive experiments on canonical benchmarks show that HeurAgenix not only outperforms existing LLM-based hyper-heuristics but also matches or exceeds specialized solvers. Code is available at https://github.com/microsoft/HeurAgenix.