Adaptieve Kernelontwerp voor Bayesiaanse Optimalisatie is een Makkie met LLM's

Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs

September 22, 2025

Auteurs: Richard Cornelius Suwandi, Feng Yin, Juntao Wang, Renjie Li, Tsung-Hui Chang, Sergios Theodoridis

cs.AI

Samenvatting

De efficiëntie van Bayesiaanse optimalisatie (BO) hangt sterk af van de keuze van de Gaussische proces (GP) kernel, die een centrale rol speelt bij het balanceren van exploratie en exploitatie onder beperkte evaluatiebudgetten. Traditionele BO-methoden vertrouwen vaak op vaste of heuristische kernelselectiestrategieën, wat kan leiden tot trage convergentie of suboptimale oplossingen wanneer de gekozen kernel slecht past bij de onderliggende doelfunctie. Om deze beperking aan te pakken, stellen we een gloednieuwe Context-Aware Kernel Evolution (CAKE) voor om BO te verbeteren met grote taalmodellen (LLMs). Concreet maakt CAKE gebruik van LLMs als de crossover- en mutatie-operatoren om adaptief GP-kernels te genereren en te verfijnen op basis van de waargenomen gegevens gedurende het optimalisatieproces. Om de kracht van CAKE te maximaliseren, stellen we verder BIC-Acquisition Kernel Ranking (BAKER) voor om de meest effectieve kernel te selecteren door de modelpassing, gemeten door het Bayesiaanse informatiecriterium (BIC), te balanceren met de verwachte verbetering bij elke iteratie van BO. Uitgebreide experimenten tonen aan dat onze nieuwe CAKE-gebaseerde BO-methode consistent beter presteert dan gevestigde baseline-methoden over een reeks real-world taken, waaronder hyperparameteroptimalisatie, controllerafstemming en fotonische chipontwerpen. Onze code is publiekelijk beschikbaar op https://github.com/cake4bo/cake.

English

The efficiency of Bayesian optimization (BO) relies heavily on the choice of the Gaussian process (GP) kernel, which plays a central role in balancing exploration and exploitation under limited evaluation budgets. Traditional BO methods often rely on fixed or heuristic kernel selection strategies, which can result in slow convergence or suboptimal solutions when the chosen kernel is poorly suited to the underlying objective function. To address this limitation, we propose a freshly-baked Context-Aware Kernel Evolution (CAKE) to enhance BO with large language models (LLMs). Concretely, CAKE leverages LLMs as the crossover and mutation operators to adaptively generate and refine GP kernels based on the observed data throughout the optimization process. To maximize the power of CAKE, we further propose BIC-Acquisition Kernel Ranking (BAKER) to select the most effective kernel through balancing the model fit measured by the Bayesian information criterion (BIC) with the expected improvement at each iteration of BO. Extensive experiments demonstrate that our fresh CAKE-based BO method consistently outperforms established baselines across a range of real-world tasks, including hyperparameter optimization, controller tuning, and photonic chip design. Our code is publicly available at https://github.com/cake4bo/cake.