Улучшение оптимизации промптов с меньшим количеством промптов

p1: Better Prompt Optimization with Fewer Prompts

April 9, 2026

Авторы: Zhaolin Gao, Yu, Wang, Bo Liu, Thorsten Joachims, Kianté Brantley, Wen Sun

cs.AI

Аннотация

Оптимизация промптов улучшает языковые модели без обновления их весов путем поиска более эффективного системного промпта, однако ее результативность сильно варьируется в зависимости от задачи. Мы исследуем, какие характеристики задачи делают ее поддающейся оптимизации промптов. Мы показываем, что дисперсию вознаграждения для различных системных промптов можно разложить на две компоненты: дисперсию между ответами, которая отражает стохастичность генерации, и дисперсию между системными промптами, которая отражает различия в их качестве. Оптимизация промптов успешна, когда дисперсия между системными промптами достаточно велика, но терпит неудачу, когда дисперсия между ответами доминирует над дисперсией системных промптов. Удивительно, но мы также демонстрируем, что масштабирование на большее количество пользовательских промптов может ухудшить оптимизацию, снижая дисперсию между системными промптами, особенно в гетерогенных наборах данных, где разные пользовательские промпты благоприятствуют разным системным промптам. Руководствуясь этим наблюдением, мы предлагаем p1 — простой метод фильтрации пользовательских промптов, который выбирает небольшое подмножество промптов с высокой дисперсией между кандидатными системными промптами. Это подмножество пользовательских промптов позволяет отличить хороший системный промпт от плохого, упрощая системную оптимизацию. Эксперименты на бенчмарках логических рассуждений показывают, что p1 существенно улучшает оптимизацию промптов по сравнению с обучением на полном наборе данных и превосходит сильные базовые методы, такие как GEPA. Примечательно, что обучение всего на двух промптах из AIME 24 позволяет получить системный промпт, который хорошо обобщается на другие бенчмарки рассуждений.

English

Prompt optimization improves language models without updating their weights by searching for a better system prompt, but its effectiveness varies widely across tasks. We study what makes a task amenable to prompt optimization. We show that the reward variance across different system prompts can be decomposed into two components: variance among responses, which captures generation stochasticity, and variance among system prompts, which captures differences in system prompt quality. Prompt optimization succeeds when variance among system prompts is sufficiently large, but fails when variance among responses dominates the variance of the system prompts. Surprisingly, we further show that scaling to more user prompts can hurt optimization by reducing variance among system prompts, especially on heterogeneous datasets where different user prompts favor different system prompts. Motivated by this insight, we propose p1, a simple user prompt filtering method that selects a small subset of user prompts with high variance across candidate system prompts. This subset of user prompts allows one to distinguish a good system prompt from a bad one, making system optimization easier. Experiments on reasoning benchmarks show that p1 substantially improves prompt optimization over training on the full dataset and outperforms strong baselines such as GEPA. Notably, training on only two prompts from AIME 24 yields a system prompt that generalizes well to other reasoning benchmarks.