Evoluerende Prompts In-Context: Een Open-Eindig, Zelfreplicerend Perspectief

Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective

June 22, 2025

Auteurs: Jianyu Wang, Zhiqiang Hu, Lidong Bing

cs.AI

Samenvatting

We stellen een nieuw promptontwerpparadigma voor dat de conventionele wijsheid uitdaagt bij het aansturen van grote taalmodellen (LLM's). Terwijl conventionele wijsheid goed geformuleerde instructies en demonstraties benadrukt voor in-context learning (ICL), laten we zien dat het snoeien van willekeurige demonstraties tot schijnbaar onsamenhangende "onzin" de prestaties op diverse taken opmerkelijk kan verbeteren. Opvallend is dat de "onzin" altijd even goed of beter presteert dan state-of-the-art automatische promptoptimalisatietechnieken, met aanzienlijke verbeteringen ongeacht de afstemming van het LLM. Het ontdekken van een effectieve snoeistrategie is echter niet triviaal, aangezien bestaande attributiemethoden en promptcompressiealgoritmen geen robuuste resultaten opleveren, laat staan menselijke intuïtie. In dit verband stellen we een zelfontdekkend promptoptimalisatieraamwerk voor, PromptQuine, een evolutionair zoekraamwerk dat automatisch de snoeistrategie zoekt met slechts weinig data. Net zoals de emergente complexiteit in de natuur—zoals symbiose en zelforganisatie—ontstaat als reactie op beperkte middelen, evolueert en verfijnt ons raamwerk onconventionele maar zeer effectieve prompts door alleen de tokens binnen de context te benutten. We demonstreren de effectiviteit ervan bij classificatie-, meerkeuzevragen-, generatie- en wiskundige redeneertaken over verschillende LLM's, terwijl we een behoorlijke runtime-efficiëntie behalen. We hopen dat onze bevindingen mechanistische studies over in-context learning kunnen begeleiden en een oproep tot actie bieden om de weg te effenen voor meer open-ended zoekalgoritmen voor effectievere LLM-prompting.

English

We propose a novel prompt design paradigm that challenges conventional wisdom in large language model (LLM) prompting. While conventional wisdom prioritizes well-crafted instructions and demonstrations for in-context learning (ICL), we show that pruning random demonstrations into seemingly incoherent "gibberish" can remarkably improve performance across diverse tasks. Notably, the "gibberish" always matches or surpasses state-of-the-art automatic prompt optimization techniques, achieving substantial gains regardless of LLM alignment. Nevertheless, discovering an effective pruning strategy is non-trivial, as existing attribution methods and prompt compression algorithms fail to deliver robust results, let alone human intuition. In terms of this, we propose a self-discover prompt optimization framework, PromptQuine, an evolutionary search framework that automatically searches for the pruning strategy by itself using only low-data regimes. Much like the emergent complexity in nature--such as symbiosis and self-organization--arising in response to resource constraints, our framework evolves and refines unconventional yet highly effective prompts by leveraging only the tokens present within the context. We demonstrate its effectiveness across classification, multi-choice question answering, generation and math reasoning tasks across LLMs, while achieving decent runtime efficiency. We hope our findings can guide mechanistic studies on in-context learning, and provide a call to action, to pave the way for more open-ended search algorithms for more effective LLM prompting.