p1: より少ないプロンプトで効果的なプロンプト最適化
p1: Better Prompt Optimization with Fewer Prompts
April 9, 2026
著者: Zhaolin Gao, Yu, Wang, Bo Liu, Thorsten Joachims, Kianté Brantley, Wen Sun
cs.AI
要旨
プロンプト最適化は、より優れたシステムプロンプトを探索することで言語モデルの重みを更新せずに性能を向上させる手法であるが、その効果はタスクによって大きく異なる。本研究では、プロンプト最適化が有効に機能するタスクの条件を明らかにする。様々なシステムプロンプト間での報酬分散は、生成の確率性を捉える「回答間分散」と、システムプロンプトの質の差を捉える「システムプロンプト間分散」の2要素に分解できることを示す。プロンプト最適化が成功するのはシステムプロンプト間分散が十分に大きい場合であり、回答間分散がシステムプロンプトの分散を上回る場合には失敗する。さらに驚くべきことに、ユーザープロンプト数を増やすことが、特に異種混合データセットにおいて異なるユーザープロンプトが異なるシステムプロンプトを好む場合、システムプロンプト間分散を減少させることで最適化を妨げる可能性があることを明らかにする。この知見に基づき、候補システムプロンプト間で分散が高いユーザープロンプトの小さな部分集合を選択する簡便なフィルタリング手法p1を提案する。このユーザープロンプト部分集合は、優れたシステムプロンプトと劣ったシステムプロンプトを識別しやすくし、システム最適化を容易にする。推論ベンチマークによる実験では、p1が全データセットでの学習に比べてプロンプト最適化を大幅に改善し、GEPAなどの強力なベースラインを上回ることを示す。特に、AIME 24のわずか2つのプロンプトで学習したシステムプロンプトが、他の推論ベンチマークにも良好に汎化することが確認された。
English
Prompt optimization improves language models without updating their weights by searching for a better system prompt, but its effectiveness varies widely across tasks. We study what makes a task amenable to prompt optimization. We show that the reward variance across different system prompts can be decomposed into two components: variance among responses, which captures generation stochasticity, and variance among system prompts, which captures differences in system prompt quality. Prompt optimization succeeds when variance among system prompts is sufficiently large, but fails when variance among responses dominates the variance of the system prompts. Surprisingly, we further show that scaling to more user prompts can hurt optimization by reducing variance among system prompts, especially on heterogeneous datasets where different user prompts favor different system prompts. Motivated by this insight, we propose p1, a simple user prompt filtering method that selects a small subset of user prompts with high variance across candidate system prompts. This subset of user prompts allows one to distinguish a good system prompt from a bad one, making system optimization easier. Experiments on reasoning benchmarks show that p1 substantially improves prompt optimization over training on the full dataset and outperforms strong baselines such as GEPA. Notably, training on only two prompts from AIME 24 yields a system prompt that generalizes well to other reasoning benchmarks.