メタ学習を用いたシステムプロンプト最適化

System Prompt Optimization with Meta-Learning

May 14, 2025

著者: Yumin Choi, Jinheon Baek, Sung Ju Hwang

cs.AI

要旨

大規模言語モデル（LLM）は顕著な能力を示しており、その性能を最大化する上で入力プロンプトの最適化が重要な役割を果たしています。しかし、LLMのプロンプトはタスクに依存しないシステムプロンプトとタスク固有のユーザープロンプトで構成されているにもかかわらず、既存のプロンプト最適化研究は個々のクエリやタスクに特化したユーザープロンプトに焦点を当てており、一度最適化されれば異なるタスクやドメインに適用可能なシステムプロンプトをほとんど考慮していません。この問題意識に基づき、我々は「二段階システムプロンプト最適化」という新たな問題を提唱します。この問題の目的は、多様なユーザープロンプトに対して頑健であり、未見のタスクにも転移可能なシステムプロンプトを設計することです。この問題に取り組むため、我々はメタ学習フレームワークを提案します。このフレームワークでは、複数のデータセットにわたる様々なユーザープロンプトに対してシステムプロンプトを最適化することでメタ学習を行い、同時にユーザープロンプトを反復的に更新することで両者の相乗効果を確保します。我々は5つの異なるドメインにまたがる14の未見データセットで実験を行い、本アプローチが多様なユーザープロンプトに対して効果的に一般化するシステムプロンプトを生成することを示しました。また、最適化されたシステムプロンプトは未見のタスクへの迅速な適応を可能にし、テスト時のユーザープロンプトに対してより少ない最適化ステップで改善された性能を達成することが明らかになりました。

English

Large Language Models (LLMs) have shown remarkable capabilities, with optimizing their input prompts playing a pivotal role in maximizing their performance. However, while LLM prompts consist of both the task-agnostic system prompts and task-specific user prompts, existing work on prompt optimization has focused on user prompts specific to individual queries or tasks, and largely overlooked the system prompt that is, once optimized, applicable across different tasks and domains. Motivated by this, we introduce the novel problem of bilevel system prompt optimization, whose objective is to design system prompts that are robust to diverse user prompts and transferable to unseen tasks. To tackle this problem, we then propose a meta-learning framework, which meta-learns the system prompt by optimizing it over various user prompts across multiple datasets, while simultaneously updating the user prompts in an iterative manner to ensure synergy between them. We conduct experiments on 14 unseen datasets spanning 5 different domains, on which we show that our approach produces system prompts that generalize effectively to diverse user prompts. Also, our findings reveal that the optimized system prompt enables rapid adaptation even to unseen tasks, requiring fewer optimization steps for test-time user prompts while achieving improved performance.