Адаптивное проектирование ядра для байесовской оптимизации становится простым как ПИРОГ с использованием языковых моделей.

Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs

September 22, 2025

Авторы: Richard Cornelius Suwandi, Feng Yin, Juntao Wang, Renjie Li, Tsung-Hui Chang, Sergios Theodoridis

cs.AI

Аннотация

Эффективность байесовской оптимизации (BO) в значительной степени зависит от выбора ядра гауссовского процесса (GP), которое играет ключевую роль в балансировке исследования и эксплуатации при ограниченном бюджете вычислений. Традиционные методы BO часто полагаются на фиксированные или эвристические стратегии выбора ядра, что может приводить к медленной сходимости или субоптимальным решениям, если выбранное ядро плохо подходит для целевой функции. Чтобы устранить это ограничение, мы предлагаем новый метод Context-Aware Kernel Evolution (CAKE), который улучшает BO с использованием больших языковых моделей (LLM). В частности, CAKE использует LLM в качестве операторов кроссовера и мутации для адаптивной генерации и уточнения ядер GP на основе наблюдаемых данных в процессе оптимизации. Для максимального использования возможностей CAKE мы также предлагаем метод BIC-Acquisition Kernel Ranking (BAKER), который выбирает наиболее эффективное ядро, балансируя качество модели, измеряемое байесовским информационным критерием (BIC), с ожидаемым улучшением на каждой итерации BO. Многочисленные эксперименты показывают, что наш новый метод BO на основе CAKE стабильно превосходит существующие базовые подходы в различных практических задачах, включая оптимизацию гиперпараметров, настройку контроллеров и проектирование фотонных чипов. Наш код доступен по адресу https://github.com/cake4bo/cake.

English

The efficiency of Bayesian optimization (BO) relies heavily on the choice of the Gaussian process (GP) kernel, which plays a central role in balancing exploration and exploitation under limited evaluation budgets. Traditional BO methods often rely on fixed or heuristic kernel selection strategies, which can result in slow convergence or suboptimal solutions when the chosen kernel is poorly suited to the underlying objective function. To address this limitation, we propose a freshly-baked Context-Aware Kernel Evolution (CAKE) to enhance BO with large language models (LLMs). Concretely, CAKE leverages LLMs as the crossover and mutation operators to adaptively generate and refine GP kernels based on the observed data throughout the optimization process. To maximize the power of CAKE, we further propose BIC-Acquisition Kernel Ranking (BAKER) to select the most effective kernel through balancing the model fit measured by the Bayesian information criterion (BIC) with the expected improvement at each iteration of BO. Extensive experiments demonstrate that our fresh CAKE-based BO method consistently outperforms established baselines across a range of real-world tasks, including hyperparameter optimization, controller tuning, and photonic chip design. Our code is publicly available at https://github.com/cake4bo/cake.