HeurAgenix: Utilizando LLMs para Resolver Desafios Complexos de Otimização Combinatória

HeurAgenix: Leveraging LLMs for Solving Complex Combinatorial Optimization Challenges

June 18, 2025

Autores: Xianliang Yang, Ling Zhang, Haolong Qian, Lei Song, Jiang Bian

cs.AI

Resumo

Algoritmos heurísticos desempenham um papel vital na resolução de problemas de otimização combinatória (CO), mas os projetos tradicionais dependem fortemente de expertise manual e lutam para generalizar em diversas instâncias. Apresentamos o HeurAgenix, um framework de hiper-heurística de dois estágios impulsionado por modelos de linguagem de grande escala (LLMs) que primeiro evolui heurísticas e depois seleciona entre elas automaticamente. Na fase de evolução heurística, o HeurAgenix utiliza um LLM para comparar soluções heurísticas iniciais com soluções de maior qualidade e extrair estratégias de evolução reutilizáveis. Durante a resolução de problemas, ele seleciona dinamicamente a heurística mais promissora para cada estado do problema, guiado pela capacidade de percepção do LLM. Para flexibilidade, esse seletor pode ser um LLM de última geração ou um modelo leve ajustado com menor custo de inferência. Para mitigar a escassez de supervisão confiável causada pela complexidade do CO, ajustamos o seletor heurístico leve com um mecanismo de recompensa dupla que explora conjuntamente sinais de preferências de seleção e percepção de estado, permitindo uma seleção robusta sob anotações ruidosas. Experimentos extensivos em benchmarks canônicos mostram que o HeurAgenix não apenas supera as hiper-heurísticas baseadas em LLM existentes, mas também iguala ou excede solucionadores especializados. O código está disponível em https://github.com/microsoft/HeurAgenix.

English

Heuristic algorithms play a vital role in solving combinatorial optimization (CO) problems, yet traditional designs depend heavily on manual expertise and struggle to generalize across diverse instances. We introduce HeurAgenix, a two-stage hyper-heuristic framework powered by large language models (LLMs) that first evolves heuristics and then selects among them automatically. In the heuristic evolution phase, HeurAgenix leverages an LLM to compare seed heuristic solutions with higher-quality solutions and extract reusable evolution strategies. During problem solving, it dynamically picks the most promising heuristic for each problem state, guided by the LLM's perception ability. For flexibility, this selector can be either a state-of-the-art LLM or a fine-tuned lightweight model with lower inference cost. To mitigate the scarcity of reliable supervision caused by CO complexity, we fine-tune the lightweight heuristic selector with a dual-reward mechanism that jointly exploits singals from selection preferences and state perception, enabling robust selection under noisy annotations. Extensive experiments on canonical benchmarks show that HeurAgenix not only outperforms existing LLM-based hyper-heuristics but also matches or exceeds specialized solvers. Code is available at https://github.com/microsoft/HeurAgenix.