Projeto Adaptativo de Kernel para Otimização Bayesiana é Fácil como Bolo com LLMs

Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs

September 22, 2025

Autores: Richard Cornelius Suwandi, Feng Yin, Juntao Wang, Renjie Li, Tsung-Hui Chang, Sergios Theodoridis

cs.AI

Resumo

A eficiência da otimização bayesiana (BO) depende fortemente da escolha do kernel do processo gaussiano (GP), que desempenha um papel central no equilíbrio entre exploração e exploração sob orçamentos limitados de avaliação. Métodos tradicionais de BO frequentemente dependem de estratégias fixas ou heurísticas para seleção de kernel, o que pode resultar em convergência lenta ou soluções subótimas quando o kernel escolhido é inadequado para a função objetivo subjacente. Para abordar essa limitação, propomos uma nova abordagem chamada Evolução de Kernel Consciente do Contexto (CAKE) para aprimorar a BO com modelos de linguagem de grande escala (LLMs). Especificamente, o CAKE utiliza LLMs como operadores de crossover e mutação para gerar e refinar kernels de GP de forma adaptativa com base nos dados observados ao longo do processo de otimização. Para maximizar o poder do CAKE, propomos ainda o Ranking de Kernel de Aquisição BIC (BAKER) para selecionar o kernel mais eficaz, equilibrando o ajuste do modelo medido pelo critério de informação bayesiano (BIC) com a melhoria esperada em cada iteração da BO. Experimentos extensivos demonstram que nosso novo método de BO baseado em CAKE supera consistentemente as abordagens estabelecidas em uma variedade de tarefas do mundo real, incluindo otimização de hiperparâmetros, ajuste de controladores e design de chips fotônicos. Nosso código está disponível publicamente em https://github.com/cake4bo/cake.

English

The efficiency of Bayesian optimization (BO) relies heavily on the choice of the Gaussian process (GP) kernel, which plays a central role in balancing exploration and exploitation under limited evaluation budgets. Traditional BO methods often rely on fixed or heuristic kernel selection strategies, which can result in slow convergence or suboptimal solutions when the chosen kernel is poorly suited to the underlying objective function. To address this limitation, we propose a freshly-baked Context-Aware Kernel Evolution (CAKE) to enhance BO with large language models (LLMs). Concretely, CAKE leverages LLMs as the crossover and mutation operators to adaptively generate and refine GP kernels based on the observed data throughout the optimization process. To maximize the power of CAKE, we further propose BIC-Acquisition Kernel Ranking (BAKER) to select the most effective kernel through balancing the model fit measured by the Bayesian information criterion (BIC) with the expected improvement at each iteration of BO. Extensive experiments demonstrate that our fresh CAKE-based BO method consistently outperforms established baselines across a range of real-world tasks, including hyperparameter optimization, controller tuning, and photonic chip design. Our code is publicly available at https://github.com/cake4bo/cake.