p1: Otimização de Prompt Mais Eficiente com Menos Prompts
p1: Better Prompt Optimization with Fewer Prompts
April 9, 2026
Autores: Zhaolin Gao, Yu, Wang, Bo Liu, Thorsten Joachims, Kianté Brantley, Wen Sun
cs.AI
Resumo
A otimização de *prompts* melhora os modelos de linguagem sem atualizar os seus pesos através da procura de um *prompt* de sistema melhor, mas a sua eficácia varia amplamente entre tarefas. Estudamos o que torna uma tarefa passível de otimização de *prompts*. Mostramos que a variância da recompensa entre diferentes *prompts* de sistema pode ser decomposta em dois componentes: a variância entre as respostas, que capta a estocasticidade da geração, e a variância entre os *prompts* de sistema, que capta as diferenças na qualidade dos *prompts* de sistema. A otimização de *prompts* tem sucesso quando a variância entre os *prompts* de sistema é suficientemente grande, mas falha quando a variância entre as respostas domina a variância dos *prompts* de sistema. Surpreendentemente, mostramos ainda que a escalada para mais *prompts* de utilizador pode prejudicar a otimização ao reduzir a variância entre os *prompts* de sistema, especialmente em conjuntos de dados heterogéneos onde diferentes *prompts* de utilizador favorecem diferentes *prompts* de sistema. Motivados por esta perceção, propomos o **p1**, um método simples de filtragem de *prompts* de utilizador que seleciona um pequeno subconjunto de *prompts* de utilizador com alta variância entre os *prompts* de sistema candidatos. Este subconjunto de *prompts* de utilizador permite distinguir um bom *prompt* de sistema de um mau, facilitando a otimização do sistema. Experiências em benchmarks de raciocínio mostram que o **p1** melhora substancialmente a otimização de *prompts* em comparação com o treino no conjunto de dados completo e supera *baselines* fortes como o GEPA. Notavelmente, o treino em apenas dois *prompts* do AIME 24 produz um *prompt* de sistema que generaliza bem para outros benchmarks de raciocínio.
English
Prompt optimization improves language models without updating their weights by searching for a better system prompt, but its effectiveness varies widely across tasks. We study what makes a task amenable to prompt optimization. We show that the reward variance across different system prompts can be decomposed into two components: variance among responses, which captures generation stochasticity, and variance among system prompts, which captures differences in system prompt quality. Prompt optimization succeeds when variance among system prompts is sufficiently large, but fails when variance among responses dominates the variance of the system prompts. Surprisingly, we further show that scaling to more user prompts can hurt optimization by reducing variance among system prompts, especially on heterogeneous datasets where different user prompts favor different system prompts. Motivated by this insight, we propose p1, a simple user prompt filtering method that selects a small subset of user prompts with high variance across candidate system prompts. This subset of user prompts allows one to distinguish a good system prompt from a bad one, making system optimization easier. Experiments on reasoning benchmarks show that p1 substantially improves prompt optimization over training on the full dataset and outperforms strong baselines such as GEPA. Notably, training on only two prompts from AIME 24 yields a system prompt that generalizes well to other reasoning benchmarks.