Systeem Prompt Optimalisatie met Meta-Leren

System Prompt Optimization with Meta-Learning

May 14, 2025

Auteurs: Yumin Choi, Jinheon Baek, Sung Ju Hwang

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben opmerkelijke capaciteiten getoond, waarbij het optimaliseren van hun invoerprompts een cruciale rol speelt in het maximaliseren van hun prestaties. Echter, hoewel LLM-prompts bestaan uit zowel taakonafhankelijke systeemprompts als taakspecifieke gebruikersprompts, heeft bestaand onderzoek naar promptoptimalisatie zich gericht op gebruikersprompts die specifiek zijn voor individuele queries of taken, en grotendeels de systeemprompt over het hoofd gezien die, eenmaal geoptimaliseerd, toepasbaar is op verschillende taken en domeinen. Gemotiveerd door dit inzicht introduceren we het nieuwe probleem van bilevel systeempromptoptimalisatie, waarvan het doel is om systeemprompts te ontwerpen die robuust zijn tegen diverse gebruikersprompts en overdraagbaar naar onbekende taken. Om dit probleem aan te pakken, stellen we vervolgens een meta-leerframework voor, dat de systeemprompt meta-leert door deze te optimaliseren over verschillende gebruikersprompts in meerdere datasets, terwijl tegelijkertijd de gebruikersprompts op iteratieve wijze worden bijgewerkt om synergie tussen hen te waarborgen. We voeren experimenten uit op 14 onbekende datasets die vijf verschillende domeinen beslaan, waarop we aantonen dat onze aanpak systeemprompts oplevert die effectief generaliseren naar diverse gebruikersprompts. Bovendien tonen onze bevindingen aan dat de geoptimaliseerde systeemprompt snelle aanpassing mogelijk maakt, zelfs aan onbekende taken, waarbij minder optimalisatiestappen nodig zijn voor gebruikersprompts tijdens de testfase, terwijl tegelijkertijd verbeterde prestaties worden behaald.

English

Large Language Models (LLMs) have shown remarkable capabilities, with optimizing their input prompts playing a pivotal role in maximizing their performance. However, while LLM prompts consist of both the task-agnostic system prompts and task-specific user prompts, existing work on prompt optimization has focused on user prompts specific to individual queries or tasks, and largely overlooked the system prompt that is, once optimized, applicable across different tasks and domains. Motivated by this, we introduce the novel problem of bilevel system prompt optimization, whose objective is to design system prompts that are robust to diverse user prompts and transferable to unseen tasks. To tackle this problem, we then propose a meta-learning framework, which meta-learns the system prompt by optimizing it over various user prompts across multiple datasets, while simultaneously updating the user prompts in an iterative manner to ensure synergy between them. We conduct experiments on 14 unseen datasets spanning 5 different domains, on which we show that our approach produces system prompts that generalize effectively to diverse user prompts. Also, our findings reveal that the optimized system prompt enables rapid adaptation even to unseen tasks, requiring fewer optimization steps for test-time user prompts while achieving improved performance.