POLCA: Stochastische Generatieve Optimalisatie met LLM

POLCA: Stochastic Generative Optimization with LLM

March 16, 2026

Auteurs: Xuanfei Ren, Allen Nie, Tengyang Xie, Ching-An Cheng

cs.AI

Samenvatting

Het optimaliseren van complexe systemen, variërend van LLM-prompts tot multi-turn agents, vereist traditioneel arbeidsintensieve, handmatige iteratie. Wij formaliseren deze uitdaging als een stochastisch generatief optimalisatieprobleem waarbij een generatief taalmodel fungeert als optimizer, geleid door numerieke beloningen en tekstfeedback om het beste systeem te ontdekken. Wij introduceren Prioritized Optimization with Local Contextual Aggregation (POLCA), een schaalbaar raamwerk ontworpen om stochasticiteit in optimalisatie te hanteren – zoals ruisrijke feedback, steekproefgewijze minibatches en stochastisch systeemgedrag – en tegelijkertijd de onbeperkte uitbreiding van de oplossingsruimte effectief te beheren. POLCA houdt een prioriteitswachtrij bij om de afweging tussen exploratie en exploitatie te beheren, en volgt kandidaat-oplossingen en hun evaluatiegeschiedenis systematisch. Om de efficiëntie te vergroten, integreren we een ε-netmechanisme om parameterdiversiteit te behouden en een LLM-samenvatter om meta-leren uit te voeren over historische trials. Wij bewijzen theoretisch dat POLCA convergeert naar bijna-optimale kandidaat-oplossingen onder stochasticiteit. Wij evalueren ons raamwerk op diverse benchmarks, waaronder τ-bench, HotpotQA (agentoptimalisatie), VeriBench (codetranslatie) en KernelBench (CUDA-kernelgeneratie). Experimentele resultaten tonen aan dat POLCA robuuste, sample- en tijd-efficiënte prestaties bereikt, en consequent state-of-the-art-algoritmen overtreft in zowel deterministische als stochastische problemen. De codebase voor dit werk is publiekelijk beschikbaar op https://github.com/rlx-lab/POLCA.

English

Optimizing complex systems, ranging from LLM prompts to multi-turn agents, traditionally requires labor-intensive manual iteration. We formalize this challenge as a stochastic generative optimization problem where a generative language model acts as the optimizer, guided by numerical rewards and text feedback to discover the best system. We introduce Prioritized Optimization with Local Contextual Aggregation (POLCA), a scalable framework designed to handle stochasticity in optimization -- such as noisy feedback, sampling minibatches, and stochastic system behaviors -- while effectively managing the unconstrained expansion of solution space. POLCA maintains a priority queue to manage the exploration-exploitation tradeoff, systematically tracking candidate solutions and their evaluation histories. To enhance efficiency, we integrate an varepsilon-Net mechanism to maintain parameter diversity and an LLM Summarizer to perform meta-learning across historical trials. We theoretically prove that POLCA converges to near-optimal candidate solutions under stochasticity. We evaluate our framework on diverse benchmarks, including τ-bench, HotpotQA (agent optimization), VeriBench (code translation) and KernelBench (CUDA kernel generation). Experimental results demonstrate that POLCA achieves robust, sample and time-efficient performance, consistently outperforming state-of-the-art algorithms in both deterministic and stochastic problems. The codebase for this work is publicly available at https://github.com/rlx-lab/POLCA.