Evolving Prompts In-Context: Eine offene, selbstreplizierende Perspektive

Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective

June 22, 2025

Autoren: Jianyu Wang, Zhiqiang Hu, Lidong Bing

cs.AI

Zusammenfassung

Wir schlagen ein neuartiges Paradigma für die Gestaltung von Prompts vor, das die herkömmliche Weisheit beim Prompting von großen Sprachmodellen (LLMs) herausfordert. Während die herkömmliche Weisheit gut durchdachte Anweisungen und Demonstrationen für In-Context-Learning (ICL) priorisiert, zeigen wir, dass das Beschneiden zufälliger Demonstrationen zu scheinbar inkohärentem „Kauderwelsch“ die Leistung über diverse Aufgaben hinweg bemerkenswert verbessern kann. Bemerkenswerterweise übertrifft oder erreicht das „Kauderwelsch“ stets den Stand der Technik bei automatischen Prompt-Optimierungstechniken und erzielt erhebliche Gewinne unabhängig von der Ausrichtung des LLMs. Dennoch ist die Entdeckung einer effektiven Beschneidungsstrategie nicht trivial, da bestehende Attributionsmethoden und Prompt-Kompressionsalgorithmen keine robusten Ergebnisse liefern können, geschweige denn die menschliche Intuition. In dieser Hinsicht schlagen wir ein selbstentdeckendes Prompt-Optimierungsframework vor, PromptQuine, ein evolutionäres Suchframework, das automatisch nach der Beschneidungsstrategie sucht und dabei nur geringe Datenmengen verwendet. Ähnlich wie die emergenten Komplexitäten in der Natur – wie Symbiose und Selbstorganisation –, die als Reaktion auf Ressourcenbeschränkungen entstehen, entwickelt und verfeinert unser Framework unkonventionelle, aber äußerst effektive Prompts, indem es nur die im Kontext vorhandenen Tokens nutzt. Wir demonstrieren seine Wirksamkeit über Klassifizierungs-, Multiple-Choice-Fragebeantwortungs-, Generierungs- und mathematische Denkaufgaben hinweg bei verschiedenen LLMs, während es eine angemessene Laufzeiteffizienz erreicht. Wir hoffen, dass unsere Erkenntnisse mechanistische Studien zum In-Context-Learning leiten können und einen Aufruf zum Handeln darstellen, um den Weg für offenere Suchalgorithmen für effektiveres LLM-Prompting zu ebnen.

English

We propose a novel prompt design paradigm that challenges conventional wisdom in large language model (LLM) prompting. While conventional wisdom prioritizes well-crafted instructions and demonstrations for in-context learning (ICL), we show that pruning random demonstrations into seemingly incoherent "gibberish" can remarkably improve performance across diverse tasks. Notably, the "gibberish" always matches or surpasses state-of-the-art automatic prompt optimization techniques, achieving substantial gains regardless of LLM alignment. Nevertheless, discovering an effective pruning strategy is non-trivial, as existing attribution methods and prompt compression algorithms fail to deliver robust results, let alone human intuition. In terms of this, we propose a self-discover prompt optimization framework, PromptQuine, an evolutionary search framework that automatically searches for the pruning strategy by itself using only low-data regimes. Much like the emergent complexity in nature--such as symbiosis and self-organization--arising in response to resource constraints, our framework evolves and refines unconventional yet highly effective prompts by leveraging only the tokens present within the context. We demonstrate its effectiveness across classification, multi-choice question answering, generation and math reasoning tasks across LLMs, while achieving decent runtime efficiency. We hope our findings can guide mechanistic studies on in-context learning, and provide a call to action, to pave the way for more open-ended search algorithms for more effective LLM prompting.