p1: Mejor Optimización de Indicaciones con Menos Indicaciones
p1: Better Prompt Optimization with Fewer Prompts
April 9, 2026
Autores: Zhaolin Gao, Yu, Wang, Bo Liu, Thorsten Joachims, Kianté Brantley, Wen Sun
cs.AI
Resumen
La optimización de prompts mejora los modelos de lenguaje sin actualizar sus pesos mediante la búsqueda de un prompt de sistema mejor, pero su efectividad varía ampliamente entre tareas. Estudiamos qué hace que una tarea sea susceptible a la optimización de prompts. Demostramos que la varianza de la recompensa entre diferentes prompts de sistema puede descomponerse en dos componentes: la varianza entre respuestas, que captura la estocasticidad de la generación, y la varianza entre prompts de sistema, que captura las diferencias en la calidad de los prompts de sistema. La optimización de prompts tiene éxito cuando la varianza entre prompts de sistema es suficientemente grande, pero falla cuando la varianza entre respuestas domina la varianza de los prompts de sistema. Sorprendentemente, demostramos además que escalar a más prompts de usuario puede perjudicar la optimización al reducir la varianza entre prompts de sistema, especialmente en conjuntos de datos heterogéneos donde diferentes prompts de usuario favorecen diferentes prompts de sistema. Motivados por esta observación, proponemos p1, un método simple de filtrado de prompts de usuario que selecciona un pequeño subconjunto de prompts de usuario con alta varianza entre prompts de sistema candidatos. Este subconjunto de prompts de usuario permite distinguir un prompt de sistema bueno de uno malo, facilitando la optimización del sistema. Los experimentos en benchmarks de razonamiento muestran que p1 mejora sustancialmente la optimización de prompts respecto al entrenamiento con el conjunto de datos completo y supera a líneas base sólidas como GEPA. Notablemente, entrenar con solo dos prompts de AIME 24 produce un prompt de sistema que generaliza bien a otros benchmarks de razonamiento.
English
Prompt optimization improves language models without updating their weights by searching for a better system prompt, but its effectiveness varies widely across tasks. We study what makes a task amenable to prompt optimization. We show that the reward variance across different system prompts can be decomposed into two components: variance among responses, which captures generation stochasticity, and variance among system prompts, which captures differences in system prompt quality. Prompt optimization succeeds when variance among system prompts is sufficiently large, but fails when variance among responses dominates the variance of the system prompts. Surprisingly, we further show that scaling to more user prompts can hurt optimization by reducing variance among system prompts, especially on heterogeneous datasets where different user prompts favor different system prompts. Motivated by this insight, we propose p1, a simple user prompt filtering method that selects a small subset of user prompts with high variance across candidate system prompts. This subset of user prompts allows one to distinguish a good system prompt from a bad one, making system optimization easier. Experiments on reasoning benchmarks show that p1 substantially improves prompt optimization over training on the full dataset and outperforms strong baselines such as GEPA. Notably, training on only two prompts from AIME 24 yields a system prompt that generalizes well to other reasoning benchmarks.