Betere Promptoptimalisatie met Minder Prompts
p1: Better Prompt Optimization with Fewer Prompts
April 9, 2026
Auteurs: Zhaolin Gao, Yu, Wang, Bo Liu, Thorsten Joachims, Kianté Brantley, Wen Sun
cs.AI
Samenvatting
Promptoptimalisatie verbetert taalmodelprestaties zonder gewichten bij te werken door te zoeken naar een betere systeemprompt, maar de effectiviteit ervan varieert sterk per taak. Wij onderzoeken wat een taak geschikt maakt voor promptoptimalisatie. Wij tonen aan dat de variantie in beloning tussen verschillende systeemprompts kan worden opgesplitst in twee componenten: variantie tussen antwoorden, die de stochastische aard van generatie weergeeft, en variantie tussen systeemprompts, die verschillen in kwaliteit van systeemprompts vastlegt. Promptoptimalisatie slaagt wanneer de variantie tussen systeemprompts voldoende groot is, maar faalt wanneer de variantie tussen antwoorden dominant wordt ten opzichte van de variantie van de systeemprompts. Verrassend genoeg tonen we verder aan dat schaalvergroting naar meer gebruikersprompts de optimalisatie kan schaden door de variantie tussen systeemprompts te verkleinen, vooral bij heterogene datasets waar verschillende gebruikersprompts verschillende systeemprompts begunstigen. Gemotiveerd door dit inzicht stellen we **p1** voor, een eenvoudige gebruikerspromptfilteringsmethode die een kleine subset van gebruikersprompts selecteert met een hoge variantie tussen kandidaat-systéémprompts. Deze subset van gebruikersprompts maakt het mogelijk een goede systeemprompt te onderscheiden van een slechte, wat systeemoptimalisatie vergemakkelijkt. Experimenten op redeneerbenchmarks tonen aan dat p1 promptoptimalisatie aanzienlijk verbetert in vergelijking met training op de volledige dataset en sterke baselines zoals GEPA overtreft. Opmerkelijk is dat training op slechts twee prompts van AIME 24 een systeemprompt oplevert die goed generaliseert naar andere redeneerbenchmarks.
English
Prompt optimization improves language models without updating their weights by searching for a better system prompt, but its effectiveness varies widely across tasks. We study what makes a task amenable to prompt optimization. We show that the reward variance across different system prompts can be decomposed into two components: variance among responses, which captures generation stochasticity, and variance among system prompts, which captures differences in system prompt quality. Prompt optimization succeeds when variance among system prompts is sufficiently large, but fails when variance among responses dominates the variance of the system prompts. Surprisingly, we further show that scaling to more user prompts can hurt optimization by reducing variance among system prompts, especially on heterogeneous datasets where different user prompts favor different system prompts. Motivated by this insight, we propose p1, a simple user prompt filtering method that selects a small subset of user prompts with high variance across candidate system prompts. This subset of user prompts allows one to distinguish a good system prompt from a bad one, making system optimization easier. Experiments on reasoning benchmarks show that p1 substantially improves prompt optimization over training on the full dataset and outperforms strong baselines such as GEPA. Notably, training on only two prompts from AIME 24 yields a system prompt that generalizes well to other reasoning benchmarks.