System-Prompt-Optimierung mit Meta-Lernen

System Prompt Optimization with Meta-Learning

May 14, 2025

Autoren: Yumin Choi, Jinheon Baek, Sung Ju Hwang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten gezeigt, wobei die Optimierung ihrer Eingabeaufforderungen eine entscheidende Rolle bei der Maximierung ihrer Leistung spielt. Allerdings bestehen LLM-Aufforderungen sowohl aus aufgabenunabhängigen Systemaufforderungen als auch aufgabenspezifischen Benutzeraufforderungen, und bestehende Arbeiten zur Prompt-Optimierung haben sich auf Benutzeraufforderungen konzentriert, die spezifisch für einzelne Abfragen oder Aufgaben sind, und dabei weitgehend die Systemaufforderung übersehen, die, einmal optimiert, über verschiedene Aufgaben und Domänen hinweg anwendbar ist. Motiviert durch diese Beobachtung führen wir das neuartige Problem der zweistufigen Systemaufforderungsoptimierung ein, dessen Ziel es ist, Systemaufforderungen zu entwerfen, die robust gegenüber diversen Benutzeraufforderungen sind und auf unbekannte Aufgaben übertragbar sind. Um dieses Problem zu lösen, schlagen wir dann ein Meta-Lern-Framework vor, das die Systemaufforderung durch Optimierung über verschiedene Benutzeraufforderungen in mehreren Datensätzen meta-lernt, während gleichzeitig die Benutzeraufforderungen iterativ aktualisiert werden, um eine Synergie zwischen ihnen sicherzustellen. Wir führen Experimente auf 14 unbekannten Datensätzen aus 5 verschiedenen Domänen durch, auf denen wir zeigen, dass unser Ansatz Systemaufforderungen erzeugt, die effektiv auf diverse Benutzeraufforderungen verallgemeinern. Darüber hinaus zeigen unsere Ergebnisse, dass die optimierte Systemaufforderung eine schnelle Anpassung sogar an unbekannte Aufgaben ermöglicht, wobei weniger Optimierungsschritte für Benutzeraufforderungen zur Testzeit erforderlich sind und gleichzeitig eine verbesserte Leistung erzielt wird.

English

Large Language Models (LLMs) have shown remarkable capabilities, with optimizing their input prompts playing a pivotal role in maximizing their performance. However, while LLM prompts consist of both the task-agnostic system prompts and task-specific user prompts, existing work on prompt optimization has focused on user prompts specific to individual queries or tasks, and largely overlooked the system prompt that is, once optimized, applicable across different tasks and domains. Motivated by this, we introduce the novel problem of bilevel system prompt optimization, whose objective is to design system prompts that are robust to diverse user prompts and transferable to unseen tasks. To tackle this problem, we then propose a meta-learning framework, which meta-learns the system prompt by optimizing it over various user prompts across multiple datasets, while simultaneously updating the user prompts in an iterative manner to ensure synergy between them. We conduct experiments on 14 unseen datasets spanning 5 different domains, on which we show that our approach produces system prompts that generalize effectively to diverse user prompts. Also, our findings reveal that the optimized system prompt enables rapid adaptation even to unseen tasks, requiring fewer optimization steps for test-time user prompts while achieving improved performance.