La Progettazione Adattiva del Kernel per l'Ottimizzazione Bayesiana è un Gioco da Ragazzi con i Modelli Linguistici di Grande Dimensione

Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs

September 22, 2025

Autori: Richard Cornelius Suwandi, Feng Yin, Juntao Wang, Renjie Li, Tsung-Hui Chang, Sergios Theodoridis

cs.AI

Abstract

L'efficienza dell'ottimizzazione bayesiana (BO) dipende fortemente dalla scelta del kernel del processo gaussiano (GP), che svolge un ruolo centrale nel bilanciare esplorazione e sfruttamento con budget di valutazione limitati. I metodi BO tradizionali si basano spesso su strategie di selezione del kernel fisse o euristiche, che possono portare a una convergenza lenta o a soluzioni subottimali quando il kernel scelto non è adatto alla funzione obiettivo sottostante. Per affrontare questa limitazione, proponiamo un nuovo approccio chiamato Context-Aware Kernel Evolution (CAKE) per potenziare la BO con modelli linguistici di grandi dimensioni (LLM). Nello specifico, CAKE utilizza gli LLM come operatori di crossover e mutazione per generare e affinare in modo adattivo i kernel GP in base ai dati osservati durante il processo di ottimizzazione. Per massimizzare l'efficacia di CAKE, proponiamo ulteriormente il BIC-Acquisition Kernel Ranking (BAKER) per selezionare il kernel più efficace bilanciando l'adattamento del modello misurato dal criterio di informazione bayesiana (BIC) con il miglioramento atteso a ogni iterazione della BO. Esperimenti estesi dimostrano che il nostro metodo BO basato su CAKE supera costantemente i benchmark consolidati in una gamma di attività del mondo reale, tra cui l'ottimizzazione degli iperparametri, la regolazione dei controller e la progettazione di chip fotonici. Il nostro codice è disponibile pubblicamente all'indirizzo https://github.com/cake4bo/cake.

English

The efficiency of Bayesian optimization (BO) relies heavily on the choice of the Gaussian process (GP) kernel, which plays a central role in balancing exploration and exploitation under limited evaluation budgets. Traditional BO methods often rely on fixed or heuristic kernel selection strategies, which can result in slow convergence or suboptimal solutions when the chosen kernel is poorly suited to the underlying objective function. To address this limitation, we propose a freshly-baked Context-Aware Kernel Evolution (CAKE) to enhance BO with large language models (LLMs). Concretely, CAKE leverages LLMs as the crossover and mutation operators to adaptively generate and refine GP kernels based on the observed data throughout the optimization process. To maximize the power of CAKE, we further propose BIC-Acquisition Kernel Ranking (BAKER) to select the most effective kernel through balancing the model fit measured by the Bayesian information criterion (BIC) with the expected improvement at each iteration of BO. Extensive experiments demonstrate that our fresh CAKE-based BO method consistently outperforms established baselines across a range of real-world tasks, including hyperparameter optimization, controller tuning, and photonic chip design. Our code is publicly available at https://github.com/cake4bo/cake.