La conception adaptative de noyaux pour l'optimisation bayésienne est un jeu d'enfant avec les LLMs

Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs

September 22, 2025

papers.authors: Richard Cornelius Suwandi, Feng Yin, Juntao Wang, Renjie Li, Tsung-Hui Chang, Sergios Theodoridis

cs.AI

papers.abstract

L'efficacité de l'optimisation bayésienne (BO) dépend fortement du choix du noyau de processus gaussien (GP), qui joue un rôle central dans l'équilibre entre exploration et exploitation sous contrainte de budget d'évaluation limité. Les méthodes traditionnelles de BO s'appuient souvent sur des stratégies de sélection de noyau fixes ou heuristiques, ce qui peut entraîner une convergence lente ou des solutions sous-optimales lorsque le noyau choisi est mal adapté à la fonction objectif sous-jacente. Pour pallier cette limitation, nous proposons une nouvelle approche appelée Évolution Contextuelle de Noyau (CAKE) afin d'améliorer la BO grâce aux modèles de langage à grande échelle (LLMs). Concrètement, CAKE utilise les LLMs comme opérateurs de croisement et de mutation pour générer et affiner de manière adaptative les noyaux GP en fonction des données observées tout au long du processus d'optimisation. Pour maximiser la puissance de CAKE, nous proposons également un classement de noyaux d'acquisition basé sur le critère d'information bayésien (BAKER) afin de sélectionner le noyau le plus efficace en équilibrant l'adéquation du modèle mesurée par le critère d'information bayésien (BIC) avec l'amélioration attendue à chaque itération de la BO. Des expériences approfondies démontrent que notre méthode de BO basée sur CAKE surpasse systématiquement les approches de référence sur une variété de tâches réelles, incluant l'optimisation d'hyperparamètres, le réglage de contrôleurs et la conception de puces photoniques. Notre code est disponible publiquement à l'adresse suivante : https://github.com/cake4bo/cake.

English

The efficiency of Bayesian optimization (BO) relies heavily on the choice of the Gaussian process (GP) kernel, which plays a central role in balancing exploration and exploitation under limited evaluation budgets. Traditional BO methods often rely on fixed or heuristic kernel selection strategies, which can result in slow convergence or suboptimal solutions when the chosen kernel is poorly suited to the underlying objective function. To address this limitation, we propose a freshly-baked Context-Aware Kernel Evolution (CAKE) to enhance BO with large language models (LLMs). Concretely, CAKE leverages LLMs as the crossover and mutation operators to adaptively generate and refine GP kernels based on the observed data throughout the optimization process. To maximize the power of CAKE, we further propose BIC-Acquisition Kernel Ranking (BAKER) to select the most effective kernel through balancing the model fit measured by the Bayesian information criterion (BIC) with the expected improvement at each iteration of BO. Extensive experiments demonstrate that our fresh CAKE-based BO method consistently outperforms established baselines across a range of real-world tasks, including hyperparameter optimization, controller tuning, and photonic chip design. Our code is publicly available at https://github.com/cake4bo/cake.