POLCA: Optimización Generativa Estocástica con Modelos de Lenguaje Grandes

POLCA: Stochastic Generative Optimization with LLM

March 16, 2026

Autores: Xuanfei Ren, Allen Nie, Tengyang Xie, Ching-An Cheng

cs.AI

Resumen

La optimización de sistemas complejos, que abarcan desde prompts para modelos de lenguaje grande (LLM) hasta agentes multi-turno, tradicionalmente requiere una iteración manual intensiva. Formalizamos este desafío como un problema de optimización generativa estocástica, donde un modelo de lenguaje generativo actúa como optimizador, guiado por recompensas numéricas y retroalimentación textual para descubrir el mejor sistema. Introducimos Optimización Priorizada con Agregación Contextual Local (POLCA), un marco escalable diseñado para manejar la estocasticidad en la optimización —como retroalimentación ruidosa, muestreo por minilotes y comportamientos estocásticos del sistema— mientras gestiona eficazmente la expansión no restringida del espacio de soluciones. POLCA mantiene una cola de prioridades para gestionar el equilibrio entre exploración y explotación, rastreando sistemáticamente las soluciones candidatas y sus historiales de evaluación. Para mejorar la eficiencia, integramos un mecanismo de ε-Red para mantener la diversidad de parámetros y un Resumidor basado en LLM para realizar meta-aprendizaje a través de ensayos históricos. Demostramos teóricamente que POLCA converge a soluciones candidatas casi óptimas bajo estocasticidad. Evaluamos nuestro marco en diversos benchmarks, incluyendo τ-bench, HotpotQA (optimización de agentes), VeriBench (traducción de código) y KernelBench (generación de kernels CUDA). Los resultados experimentales demuestran que POLCA logra un rendimiento robusto, eficiente en muestras y tiempo, superando consistentemente a los algoritmos state-of-the-art tanto en problemas deterministas como estocásticos. La base de código de este trabajo está disponible públicamente en https://github.com/rlx-lab/POLCA.

English

Optimizing complex systems, ranging from LLM prompts to multi-turn agents, traditionally requires labor-intensive manual iteration. We formalize this challenge as a stochastic generative optimization problem where a generative language model acts as the optimizer, guided by numerical rewards and text feedback to discover the best system. We introduce Prioritized Optimization with Local Contextual Aggregation (POLCA), a scalable framework designed to handle stochasticity in optimization -- such as noisy feedback, sampling minibatches, and stochastic system behaviors -- while effectively managing the unconstrained expansion of solution space. POLCA maintains a priority queue to manage the exploration-exploitation tradeoff, systematically tracking candidate solutions and their evaluation histories. To enhance efficiency, we integrate an varepsilon-Net mechanism to maintain parameter diversity and an LLM Summarizer to perform meta-learning across historical trials. We theoretically prove that POLCA converges to near-optimal candidate solutions under stochasticity. We evaluate our framework on diverse benchmarks, including τ-bench, HotpotQA (agent optimization), VeriBench (code translation) and KernelBench (CUDA kernel generation). Experimental results demonstrate that POLCA achieves robust, sample and time-efficient performance, consistently outperforming state-of-the-art algorithms in both deterministic and stochastic problems. The codebase for this work is publicly available at https://github.com/rlx-lab/POLCA.