POLCA : Optimisation générative stochastique avec LLM
POLCA: Stochastic Generative Optimization with LLM
March 16, 2026
Auteurs: Xuanfei Ren, Allen Nie, Tengyang Xie, Ching-An Cheng
cs.AI
Résumé
L'optimisation de systèmes complexes, allant des prompts de modèles de langage étendus (LLM) aux agents à tours multiples, nécessite traditionnellement une itération manuelle laborieuse. Nous formalisons ce défi en tant que problème d'optimisation générative stochastique, où un modèle de langage génératif agit comme optimiseur, guidé par des récompenses numériques et des retours textuels pour découvrir le système optimal. Nous présentons l'Optimisation Priorisée avec Agrégation Contextuelle Locale (POLCA), un cadre évolutif conçu pour gérer la stochasticité inhérente à l'optimisation — comme les retours bruités, l'échantillonnage par mini-lots et les comportements stochastiques des systèmes — tout en maîtrisant efficacement l'expansion non contrainte de l'espace des solutions. POLCA maintient une file de priorité pour gérer le compromis exploration-exploitation, en suivant systématiquement les solutions candidates et leurs historiques d'évaluation. Pour améliorer l'efficacité, nous intégrons un mécanisme de ε-réseau pour préserver la diversité des paramètres et un Summarizer basé sur LLM pour effectuer un méta-apprentissage à travers les essais historiques. Nous démontrons théoriquement que POLCA converge vers des solutions candidates quasi-optimales malgré la stochasticité. Nous évaluons notre cadre sur divers benchmarks, incluant τ-bench, HotpotQA (optimisation d'agents), VeriBench (traduction de code) et KernelBench (génération de noyaux CUDA). Les résultats expérimentaux montrent que POLCA atteint une performance robuste, économe en échantillons et en temps, surpassant constamment les algorithmes de l'état de l'art sur des problèmes déterministes et stochastiques. Le code source de ce travail est publiquement disponible à l'adresse https://github.com/rlx-lab/POLCA.
English
Optimizing complex systems, ranging from LLM prompts to multi-turn agents, traditionally requires labor-intensive manual iteration. We formalize this challenge as a stochastic generative optimization problem where a generative language model acts as the optimizer, guided by numerical rewards and text feedback to discover the best system. We introduce Prioritized Optimization with Local Contextual Aggregation (POLCA), a scalable framework designed to handle stochasticity in optimization -- such as noisy feedback, sampling minibatches, and stochastic system behaviors -- while effectively managing the unconstrained expansion of solution space. POLCA maintains a priority queue to manage the exploration-exploitation tradeoff, systematically tracking candidate solutions and their evaluation histories. To enhance efficiency, we integrate an varepsilon-Net mechanism to maintain parameter diversity and an LLM Summarizer to perform meta-learning across historical trials. We theoretically prove that POLCA converges to near-optimal candidate solutions under stochasticity. We evaluate our framework on diverse benchmarks, including τ-bench, HotpotQA (agent optimization), VeriBench (code translation) and KernelBench (CUDA kernel generation). Experimental results demonstrate that POLCA achieves robust, sample and time-efficient performance, consistently outperforming state-of-the-art algorithms in both deterministic and stochastic problems. The codebase for this work is publicly available at https://github.com/rlx-lab/POLCA.