LLM을 활용한 베이지안 최적화를 위한 적응형 커널 설계는 CAKE처럼 간단하다

Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs

September 22, 2025

저자: Richard Cornelius Suwandi, Feng Yin, Juntao Wang, Renjie Li, Tsung-Hui Chang, Sergios Theodoridis

cs.AI

초록

베이지안 최적화(BO)의 효율성은 가우시안 프로세스(GP) 커널 선택에 크게 의존하며, 이는 제한된 평가 예산 하에서 탐색과 활용 간의 균형을 맞추는 데 핵심적인 역할을 합니다. 전통적인 BO 방법은 고정적이거나 휴리스틱한 커널 선택 전략에 의존하는 경우가 많아, 선택된 커널이 기본 목적 함수에 적합하지 않을 경우 느린 수렴 또는 차선의 해결책을 초래할 수 있습니다. 이러한 한계를 해결하기 위해, 우리는 대규모 언어 모델(LLM)을 활용하여 BO를 강화하는 새로운 Context-Aware Kernel Evolution(CAKE)을 제안합니다. 구체적으로, CAKE는 최적화 과정에서 관찰된 데이터를 기반으로 GP 커널을 적응적으로 생성하고 개선하기 위해 LLM을 교차 및 변이 연산자로 활용합니다. CAKE의 성능을 극대화하기 위해, 우리는 추가로 BIC-Acquisition Kernel Ranking(BAKER)을 제안하여, 베이지안 정보 기준(BIC)으로 측정된 모델 적합도와 각 BO 반복에서의 기대 개선도를 균형 있게 고려하여 가장 효과적인 커널을 선택합니다. 광범위한 실험을 통해, 우리의 새로운 CAKE 기반 BO 방법이 하이퍼파라미터 최적화, 컨트롤러 튜닝, 광자 칩 설계 등 다양한 실제 작업에서 기존의 기준 방법들을 일관되게 능가함을 입증했습니다. 우리의 코드는 https://github.com/cake4bo/cake에서 공개적으로 이용 가능합니다.

English

The efficiency of Bayesian optimization (BO) relies heavily on the choice of the Gaussian process (GP) kernel, which plays a central role in balancing exploration and exploitation under limited evaluation budgets. Traditional BO methods often rely on fixed or heuristic kernel selection strategies, which can result in slow convergence or suboptimal solutions when the chosen kernel is poorly suited to the underlying objective function. To address this limitation, we propose a freshly-baked Context-Aware Kernel Evolution (CAKE) to enhance BO with large language models (LLMs). Concretely, CAKE leverages LLMs as the crossover and mutation operators to adaptively generate and refine GP kernels based on the observed data throughout the optimization process. To maximize the power of CAKE, we further propose BIC-Acquisition Kernel Ranking (BAKER) to select the most effective kernel through balancing the model fit measured by the Bayesian information criterion (BIC) with the expected improvement at each iteration of BO. Extensive experiments demonstrate that our fresh CAKE-based BO method consistently outperforms established baselines across a range of real-world tasks, including hyperparameter optimization, controller tuning, and photonic chip design. Our code is publicly available at https://github.com/cake4bo/cake.