Ottimizzazione Migliore dei Prompt con Meno Prompt
p1: Better Prompt Optimization with Fewer Prompts
April 9, 2026
Autori: Zhaolin Gao, Yu, Wang, Bo Liu, Thorsten Joachims, Kianté Brantley, Wen Sun
cs.AI
Abstract
L'ottimizzazione dei prompt migliora i modelli linguistici senza aggiornarne i pesi, ricercando un prompt di sistema migliore, ma la sua efficacia varia notevolmente tra i diversi compiti. Studiamo cosa rende un compito adatto all'ottimizzazione dei prompt. Dimostriamo che la varianza della ricompensa tra diversi prompt di sistema può essere scomposta in due componenti: la varianza tra le risposte, che cattura la stocasticità della generazione, e la varianza tra i prompt di sistema, che cattura le differenze nella qualità dei prompt di sistema. L'ottimizzazione dei prompt ha successo quando la varianza tra i prompt di sistema è sufficientemente ampia, ma fallisce quando la varianza tra le risposte domina la varianza dei prompt di sistema. Sorprendentemente, dimostriamo inoltre che scalare su un numero maggiore di prompt utente può danneggiare l'ottimizzazione riducendo la varianza tra i prompt di sistema, specialmente su dataset eterogenei in cui prompt utente diversi favoriscono prompt di sistema diversi. Motivati da questa intuizione, proponiamo p1, un semplice metodo di filtraggio dei prompt utente che seleziona un piccolo sottoinsieme di prompt utente con alta varianza tra i prompt di sistema candidati. Questo sottoinsieme di prompt utente consente di distinguere un buon prompt di sistema da uno cattivo, rendendo più facile l'ottimizzazione del sistema. Esperimenti su benchmark di ragionamento mostrano che p1 migliora sostanzialmente l'ottimizzazione dei prompt rispetto all'addestramento sull'intero dataset e supera baseline robuste come GEPA. Notevolmente, l'addestramento su soli due prompt di AIME 24 produce un prompt di sistema che si generalizza bene ad altri benchmark di ragionamento.
English
Prompt optimization improves language models without updating their weights by searching for a better system prompt, but its effectiveness varies widely across tasks. We study what makes a task amenable to prompt optimization. We show that the reward variance across different system prompts can be decomposed into two components: variance among responses, which captures generation stochasticity, and variance among system prompts, which captures differences in system prompt quality. Prompt optimization succeeds when variance among system prompts is sufficiently large, but fails when variance among responses dominates the variance of the system prompts. Surprisingly, we further show that scaling to more user prompts can hurt optimization by reducing variance among system prompts, especially on heterogeneous datasets where different user prompts favor different system prompts. Motivated by this insight, we propose p1, a simple user prompt filtering method that selects a small subset of user prompts with high variance across candidate system prompts. This subset of user prompts allows one to distinguish a good system prompt from a bad one, making system optimization easier. Experiments on reasoning benchmarks show that p1 substantially improves prompt optimization over training on the full dataset and outperforms strong baselines such as GEPA. Notably, training on only two prompts from AIME 24 yields a system prompt that generalizes well to other reasoning benchmarks.