Adaptiver Kernel-Design für Bayessche Optimierung ist ein Kinderspiel mit LLMs

Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs

September 22, 2025

papers.authors: Richard Cornelius Suwandi, Feng Yin, Juntao Wang, Renjie Li, Tsung-Hui Chang, Sergios Theodoridis

cs.AI

papers.abstract

Die Effizienz der Bayes'schen Optimierung (BO) hängt maßgeblich von der Wahl des Gauß-Prozess-Kernels (GP) ab, der eine zentrale Rolle bei der Balance zwischen Exploration und Exploitation unter begrenzten Evaluierungsbudgets spielt. Traditionelle BO-Methoden verlassen sich oft auf feste oder heuristische Kernel-Auswahlstrategien, die zu langsamer Konvergenz oder suboptimalen Lösungen führen können, wenn der gewählte Kernel schlecht zur zugrunde liegenden Zielfunktion passt. Um diese Einschränkung zu überwinden, schlagen wir einen neuartigen Context-Aware Kernel Evolution (CAKE) Ansatz vor, der BO mit großen Sprachmodellen (LLMs) erweitert. Konkret nutzt CAKE LLMs als Crossover- und Mutationsoperatoren, um GP-Kernel basierend auf den beobachteten Daten während des Optimierungsprozesses adaptiv zu generieren und zu verfeinern. Um die Leistungsfähigkeit von CAKE zu maximieren, schlagen wir zusätzlich BIC-Acquisition Kernel Ranking (BAKER) vor, um den effektivsten Kernel durch die Balance zwischen der Modellanpassung, gemessen durch das Bayes'sche Informationskriterium (BIC), und der erwarteten Verbesserung in jeder Iteration von BO auszuwählen. Umfangreiche Experimente zeigen, dass unsere neue CAKE-basierte BO-Methode etablierte Baselines in einer Reihe von realen Anwendungen, einschließlich Hyperparameteroptimierung, Controller-Abstimmung und photonischem Chip-Design, konsequent übertrifft. Unser Code ist öffentlich verfügbar unter https://github.com/cake4bo/cake.

English

The efficiency of Bayesian optimization (BO) relies heavily on the choice of the Gaussian process (GP) kernel, which plays a central role in balancing exploration and exploitation under limited evaluation budgets. Traditional BO methods often rely on fixed or heuristic kernel selection strategies, which can result in slow convergence or suboptimal solutions when the chosen kernel is poorly suited to the underlying objective function. To address this limitation, we propose a freshly-baked Context-Aware Kernel Evolution (CAKE) to enhance BO with large language models (LLMs). Concretely, CAKE leverages LLMs as the crossover and mutation operators to adaptively generate and refine GP kernels based on the observed data throughout the optimization process. To maximize the power of CAKE, we further propose BIC-Acquisition Kernel Ranking (BAKER) to select the most effective kernel through balancing the model fit measured by the Bayesian information criterion (BIC) with the expected improvement at each iteration of BO. Extensive experiments demonstrate that our fresh CAKE-based BO method consistently outperforms established baselines across a range of real-world tasks, including hyperparameter optimization, controller tuning, and photonic chip design. Our code is publicly available at https://github.com/cake4bo/cake.