LLM 기반 최적화에서 구조와 파라미터 분리를 위한 하이브리드 중첩 하네스

초록

언어 모델 기반 진화 알고리즘에서 LLM은 제어 흐름과 같은 구조적 구성 요소와 연속 매개변수를 동시에 업데이트하는 단일 연산자 역할을 수행한다. LLM은 전자의 경우에는 우수할 수 있지만, 후자의 경우에는 효율적이지 못하며 시행착오 루프 안에서 이산적인 점프를 반복하며 토큰을 낭비한다. 본 논문에서는 이를 해결하기 위해 하이브리드 중첩 탐색(hybrid nested search)을 공식화한다. 이 방식에서 외부 루프는 LLM이 수치적 공백이 포함된 구조적 스케치를 제안하고, 내부 수치 최적화기가 해당 스케치를 세부 조정한다. 외부 및 내부 솔버는 모두 교체 가능하여, 모든 텍스트 기반 최적화기가 0차 최적화기(CMA-ES), 그래디언트 기반 루틴 또는 MCMC 샘플러와 결합될 수 있다. 우리는 이 프레임워크를 세 가지 과학적 영역에서 검증한다: (i) 닫힌 형식 테스트 함수에 대한 메타 최적화기, (ii) 시스템 연구 및 사회적 딜레마를 위한 코드 기반 정책, (iii) 근사 베이지안 추론 작업. 세 영역 모두에서 하이브리드 최적화기는 기본 LLM 기반 탐색과 순수 수치 최적화 기준선보다 우수한 성능을 보였다. 코드: https://github.com/vicgalle/hybrid-nested-search

English

In evolutionary algorithms powered by language models, the LLM acts as a single operator that simultaneously updates structural components (like control flow) and continuous parameters. While LLMs can be good at the first, they are not efficient at the second, wasting tokens taking discrete jumps inside a trial and error loop. We resolve this by formalizing a hybrid nested search, in which an outer loop has the LLM propose a structural sketch, with numeric gaps, and an inner numerical optimizer tunes the sketch. Both the outer and inner solvers are pluggable: any text-based optimizer can be combined with a zero-order optimizer (CMA-ES), gradient-based routines, or MCMC samplers. We validate our framework across three scientific domains: (i) meta-optimizers on closed-form test functions, (ii) code-based policies for systems research and social dilemmas; and (iii) approximate Bayesian inference tasks. Across all three, the hybrid optimizer is superior to both vanilla LLM-driven search and pure numerical optimization baselines. Code at: https://github.com/vicgalle/hybrid-nested-search