Evoluzione dei Prompt In-Context: Una Prospettiva Aperta e Auto-replicante

Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective

June 22, 2025

Autori: Jianyu Wang, Zhiqiang Hu, Lidong Bing

cs.AI

Abstract

Proponiamo un nuovo paradigma di progettazione dei prompt che sfida la saggezza convenzionale nel prompting dei modelli linguistici di grandi dimensioni (LLM). Mentre la saggezza convenzionale privilegia istruzioni ben strutturate e dimostrazioni per l'apprendimento in contesto (ICL), dimostriamo che la potatura di dimostrazioni casuali in "gibberish" apparentemente incoerenti può migliorare notevolmente le prestazioni su una vasta gamma di task. È degno di nota che il "gibberish" eguagli o superi sempre le tecniche di ottimizzazione automatica dei prompt all'avanguardia, ottenendo guadagni sostanziali indipendentemente dall'allineamento dell'LLM. Tuttavia, scoprire una strategia di potatura efficace non è banale, poiché i metodi di attribuzione esistenti e gli algoritmi di compressione dei prompt non riescono a fornire risultati robusti, figuriamoci l'intuizione umana. A tal proposito, proponiamo un framework di ottimizzazione dei prompt auto-scoprente, PromptQuine, un framework di ricerca evolutiva che cerca automaticamente la strategia di potatura utilizzando solo regimi a basso contenuto di dati. Similmente alla complessità emergente in natura—come la simbiosi e l'auto-organizzazione—che sorge in risposta ai vincoli di risorse, il nostro framework evolve e affina prompt non convenzionali ma altamente efficaci sfruttando solo i token presenti nel contesto. Ne dimostriamo l'efficacia su task di classificazione, risposta a domande a scelta multipla, generazione e ragionamento matematico su vari LLM, raggiungendo un'efficienza di runtime decente. Speriamo che i nostri risultati possano guidare studi meccanicistici sull'apprendimento in contesto e fornire un invito all'azione, per aprire la strada a algoritmi di ricerca più aperti per un prompting degli LLM più efficace.

English

We propose a novel prompt design paradigm that challenges conventional wisdom in large language model (LLM) prompting. While conventional wisdom prioritizes well-crafted instructions and demonstrations for in-context learning (ICL), we show that pruning random demonstrations into seemingly incoherent "gibberish" can remarkably improve performance across diverse tasks. Notably, the "gibberish" always matches or surpasses state-of-the-art automatic prompt optimization techniques, achieving substantial gains regardless of LLM alignment. Nevertheless, discovering an effective pruning strategy is non-trivial, as existing attribution methods and prompt compression algorithms fail to deliver robust results, let alone human intuition. In terms of this, we propose a self-discover prompt optimization framework, PromptQuine, an evolutionary search framework that automatically searches for the pruning strategy by itself using only low-data regimes. Much like the emergent complexity in nature--such as symbiosis and self-organization--arising in response to resource constraints, our framework evolves and refines unconventional yet highly effective prompts by leveraging only the tokens present within the context. We demonstrate its effectiveness across classification, multi-choice question answering, generation and math reasoning tasks across LLMs, while achieving decent runtime efficiency. We hope our findings can guide mechanistic studies on in-context learning, and provide a call to action, to pave the way for more open-ended search algorithms for more effective LLM prompting.