Évolution des prompts en contexte : une perspective ouverte et auto-réplicative

Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective

June 22, 2025

Auteurs: Jianyu Wang, Zhiqiang Hu, Lidong Bing

cs.AI

Résumé

Nous proposons un nouveau paradigme de conception de prompts qui remet en question les idées reçues dans l'utilisation des grands modèles de langage (LLM). Alors que la sagesse conventionnelle privilégie des instructions soigneusement élaborées et des démonstrations pour l'apprentissage en contexte (ICL), nous montrons que l'élagage de démonstrations aléatoires en des séquences apparemment incohérentes, ou "charabia", peut considérablement améliorer les performances sur diverses tâches. Notamment, ce "charabia" égale ou dépasse toujours les techniques d'optimisation automatique de prompts de pointe, obtenant des gains substantiels indépendamment de l'alignement du LLM. Cependant, découvrir une stratégie d'élagage efficace n'est pas trivial, car les méthodes d'attribution existantes et les algorithmes de compression de prompts ne parviennent pas à fournir des résultats robustes, sans parler de l'intuition humaine. À cet égard, nous proposons un cadre d'optimisation de prompts auto-découvrant, PromptQuine, un cadre de recherche évolutive qui recherche automatiquement la stratégie d'élagage en utilisant uniquement des régimes à faible volume de données. Tout comme la complexité émergente dans la nature—telle que la symbiose et l'auto-organisation—qui survient en réponse aux contraintes de ressources, notre cadre évolue et affine des prompts non conventionnels mais hautement efficaces en exploitant uniquement les tokens présents dans le contexte. Nous démontrons son efficacité sur des tâches de classification, de réponse à des questions à choix multiples, de génération et de raisonnement mathématique à travers différents LLM, tout en atteignant une efficacité de temps d'exécution décente. Nous espérons que nos résultats pourront guider les études mécanistes sur l'apprentissage en contexte, et servir d'appel à l'action pour ouvrir la voie à des algorithmes de recherche plus ouverts pour une utilisation plus efficace des LLM.

English

We propose a novel prompt design paradigm that challenges conventional wisdom in large language model (LLM) prompting. While conventional wisdom prioritizes well-crafted instructions and demonstrations for in-context learning (ICL), we show that pruning random demonstrations into seemingly incoherent "gibberish" can remarkably improve performance across diverse tasks. Notably, the "gibberish" always matches or surpasses state-of-the-art automatic prompt optimization techniques, achieving substantial gains regardless of LLM alignment. Nevertheless, discovering an effective pruning strategy is non-trivial, as existing attribution methods and prompt compression algorithms fail to deliver robust results, let alone human intuition. In terms of this, we propose a self-discover prompt optimization framework, PromptQuine, an evolutionary search framework that automatically searches for the pruning strategy by itself using only low-data regimes. Much like the emergent complexity in nature--such as symbiosis and self-organization--arising in response to resource constraints, our framework evolves and refines unconventional yet highly effective prompts by leveraging only the tokens present within the context. We demonstrate its effectiveness across classification, multi-choice question answering, generation and math reasoning tasks across LLMs, while achieving decent runtime efficiency. We hope our findings can guide mechanistic studies on in-context learning, and provide a call to action, to pave the way for more open-ended search algorithms for more effective LLM prompting.