LLM駆動最適化における構造とパラメータの分離のためのハイブリッド入れ子型ハーネス

要旨

言語モデルを用いた進化的アルゴリズムでは、LLMが（制御フローなどの）構造的要素と連続パラメータを同時に更新する単一のオペレータとして機能する。LLMは前者には優れているが、後者には効率的ではなく、試行錯誤ループ内で離散的なジャンプを行うことでトークンを浪費する。我々はこの問題を解決するために、ハイブリッド入れ子探索を定式化する。外側ループでは、LLMが数値の空欄を伴う構造的スケッチを提案し、内側の数値最適化器がそのスケッチを調整する。外側と内側のソルバーはともに交換可能であり、任意のテキストベースの最適化器は、ゼロ次最適化器（CMA-ES）、勾配ベースの手法、またはMCMCサンプラーと組み合わせることができる。我々は、このフレームワークを3つの科学領域にわたって検証する。（i）閉形式のテスト関数に対するメタ最適化器、（ii）システム研究と社会的ジレンマのためのコードベースのポリシー、（iii）近似ベイズ推論タスク。これら3つすべてにおいて、ハイブリッド最適化器は、バニラのLLM駆動探索と純粋な数値最適化ベースラインの両方よりも優れている。コードは https://github.com/vicgalle/hybrid-nested-search で入手できる。

English

In evolutionary algorithms powered by language models, the LLM acts as a single operator that simultaneously updates structural components (like control flow) and continuous parameters. While LLMs can be good at the first, they are not efficient at the second, wasting tokens taking discrete jumps inside a trial and error loop. We resolve this by formalizing a hybrid nested search, in which an outer loop has the LLM propose a structural sketch, with numeric gaps, and an inner numerical optimizer tunes the sketch. Both the outer and inner solvers are pluggable: any text-based optimizer can be combined with a zero-order optimizer (CMA-ES), gradient-based routines, or MCMC samplers. We validate our framework across three scientific domains: (i) meta-optimizers on closed-form test functions, (ii) code-based policies for systems research and social dilemmas; and (iii) approximate Bayesian inference tasks. Across all three, the hybrid optimizer is superior to both vanilla LLM-driven search and pure numerical optimization baselines. Code at: https://github.com/vicgalle/hybrid-nested-search