Оптимизация системных промптов с использованием метаобучения

System Prompt Optimization with Meta-Learning

May 14, 2025

Авторы: Yumin Choi, Jinheon Baek, Sung Ju Hwang

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали впечатляющие возможности, при этом оптимизация их входных запросов играет ключевую роль в максимизации их производительности. Однако, хотя запросы LLM состоят как из системных запросов, не зависящих от задачи, так и из пользовательских запросов, специфичных для задачи, существующие работы по оптимизации запросов сосредоточены на пользовательских запросах, связанных с отдельными запросами или задачами, и в значительной степени игнорируют системный запрос, который, будучи оптимизированным, применим к различным задачам и доменам. Вдохновленные этим, мы вводим новую задачу двухуровневой оптимизации системного запроса, целью которой является разработка системных запросов, устойчивых к разнообразным пользовательским запросам и переносимым на неизвестные задачи. Для решения этой проблемы мы предлагаем мета-обучающий фреймворк, который мета-обучает системный запрос, оптимизируя его для различных пользовательских запросов на множестве наборов данных, одновременно обновляя пользовательские запросы итеративным образом для обеспечения синергии между ними. Мы проводим эксперименты на 14 неизвестных наборах данных, охватывающих 5 различных доменов, на которых показываем, что наш подход создает системные запросы, эффективно обобщающиеся на разнообразные пользовательские запросы. Кроме того, наши результаты показывают, что оптимизированный системный запрос позволяет быстро адаптироваться даже к неизвестным задачам, требуя меньше шагов оптимизации для пользовательских запросов во время тестирования, при этом достигая улучшенной производительности.

English

Large Language Models (LLMs) have shown remarkable capabilities, with optimizing their input prompts playing a pivotal role in maximizing their performance. However, while LLM prompts consist of both the task-agnostic system prompts and task-specific user prompts, existing work on prompt optimization has focused on user prompts specific to individual queries or tasks, and largely overlooked the system prompt that is, once optimized, applicable across different tasks and domains. Motivated by this, we introduce the novel problem of bilevel system prompt optimization, whose objective is to design system prompts that are robust to diverse user prompts and transferable to unseen tasks. To tackle this problem, we then propose a meta-learning framework, which meta-learns the system prompt by optimizing it over various user prompts across multiple datasets, while simultaneously updating the user prompts in an iterative manner to ensure synergy between them. We conduct experiments on 14 unseen datasets spanning 5 different domains, on which we show that our approach produces system prompts that generalize effectively to diverse user prompts. Also, our findings reveal that the optimized system prompt enables rapid adaptation even to unseen tasks, requiring fewer optimization steps for test-time user prompts while achieving improved performance.