ベイズ最適化のための適応的カーネル設計はLLMを用いたCAKEの一片である

Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs

September 22, 2025

著者: Richard Cornelius Suwandi, Feng Yin, Juntao Wang, Renjie Li, Tsung-Hui Chang, Sergios Theodoridis

cs.AI

要旨

ベイズ最適化（BO）の効率性は、ガウス過程（GP）カーネルの選択に大きく依存しており、このカーネルは限られた評価予算の下で探索と活用のバランスを取る上で中心的な役割を果たします。従来のBO手法では、固定されたカーネルやヒューリスティックなカーネル選択戦略に依存することが多く、選択されたカーネルが目的関数に適していない場合、収束が遅くなったり、最適解が得られなかったりする可能性があります。この制約を解決するため、我々は大規模言語モデル（LLMs）を用いてBOを強化する新たなContext-Aware Kernel Evolution（CAKE）を提案します。具体的には、CAKEはLLMsを交叉および突然変異演算子として活用し、最適化プロセスを通じて観測されたデータに基づいてGPカーネルを適応的に生成および改良します。CAKEの能力を最大限に引き出すために、我々はさらにBIC-Acquisition Kernel Ranking（BAKER）を提案し、ベイズ情報量基準（BIC）によって測定されたモデルの適合度と、BOの各反復における期待改善量をバランスさせながら、最も効果的なカーネルを選択します。広範な実験により、我々の新しいCAKEベースのBO手法が、ハイパーパラメータ最適化、コントローラチューニング、フォトニックチップ設計など、さまざまな実世界のタスクにおいて、確立されたベースラインを一貫して上回ることが実証されました。我々のコードはhttps://github.com/cake4bo/cakeで公開されています。

English

The efficiency of Bayesian optimization (BO) relies heavily on the choice of the Gaussian process (GP) kernel, which plays a central role in balancing exploration and exploitation under limited evaluation budgets. Traditional BO methods often rely on fixed or heuristic kernel selection strategies, which can result in slow convergence or suboptimal solutions when the chosen kernel is poorly suited to the underlying objective function. To address this limitation, we propose a freshly-baked Context-Aware Kernel Evolution (CAKE) to enhance BO with large language models (LLMs). Concretely, CAKE leverages LLMs as the crossover and mutation operators to adaptively generate and refine GP kernels based on the observed data throughout the optimization process. To maximize the power of CAKE, we further propose BIC-Acquisition Kernel Ranking (BAKER) to select the most effective kernel through balancing the model fit measured by the Bayesian information criterion (BIC) with the expected improvement at each iteration of BO. Extensive experiments demonstrate that our fresh CAKE-based BO method consistently outperforms established baselines across a range of real-world tasks, including hyperparameter optimization, controller tuning, and photonic chip design. Our code is publicly available at https://github.com/cake4bo/cake.