Diseño de Kernel Adaptativo para Optimización Bayesiana es un Pedazo de PASTEL con Modelos de Lenguaje de Gran Escala

Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs

September 22, 2025

Autores: Richard Cornelius Suwandi, Feng Yin, Juntao Wang, Renjie Li, Tsung-Hui Chang, Sergios Theodoridis

cs.AI

Resumen

La eficiencia de la optimización bayesiana (BO) depende en gran medida de la elección del núcleo del proceso gaussiano (GP), el cual desempeña un papel central en el equilibrio entre exploración y explotación bajo presupuestos limitados de evaluación. Los métodos tradicionales de BO suelen basarse en estrategias fijas o heurísticas para la selección del núcleo, lo que puede resultar en una convergencia lenta o soluciones subóptimas cuando el núcleo elegido no se ajusta adecuadamente a la función objetivo subyacente. Para abordar esta limitación, proponemos una novedosa Evolución de Núcleos Consciente del Contexto (CAKE, por sus siglas en inglés) que mejora la BO mediante el uso de modelos de lenguaje de gran escala (LLMs). Concretamente, CAKE aprovecha los LLMs como operadores de cruce y mutación para generar y refinar adaptativamente los núcleos de GP basándose en los datos observados durante el proceso de optimización. Para maximizar el potencial de CAKE, proponemos además el Ranking de Núcleos de Adquisición basado en BIC (BAKER), que selecciona el núcleo más efectivo al equilibrar el ajuste del modelo medido por el criterio de información bayesiano (BIC) con la mejora esperada en cada iteración de la BO. Experimentos exhaustivos demuestran que nuestro método de BO basado en CAKE supera consistentemente a los enfoques establecidos en una variedad de tareas del mundo real, incluyendo la optimización de hiperparámetros, el ajuste de controladores y el diseño de chips fotónicos. Nuestro código está disponible públicamente en https://github.com/cake4bo/cake.

English

The efficiency of Bayesian optimization (BO) relies heavily on the choice of the Gaussian process (GP) kernel, which plays a central role in balancing exploration and exploitation under limited evaluation budgets. Traditional BO methods often rely on fixed or heuristic kernel selection strategies, which can result in slow convergence or suboptimal solutions when the chosen kernel is poorly suited to the underlying objective function. To address this limitation, we propose a freshly-baked Context-Aware Kernel Evolution (CAKE) to enhance BO with large language models (LLMs). Concretely, CAKE leverages LLMs as the crossover and mutation operators to adaptively generate and refine GP kernels based on the observed data throughout the optimization process. To maximize the power of CAKE, we further propose BIC-Acquisition Kernel Ranking (BAKER) to select the most effective kernel through balancing the model fit measured by the Bayesian information criterion (BIC) with the expected improvement at each iteration of BO. Extensive experiments demonstrate that our fresh CAKE-based BO method consistently outperforms established baselines across a range of real-world tasks, including hyperparameter optimization, controller tuning, and photonic chip design. Our code is publicly available at https://github.com/cake4bo/cake.