Эволюция промптов в контексте: открытый, самовоспроизводящийся подход

Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective

June 22, 2025

Авторы: Jianyu Wang, Zhiqiang Hu, Lidong Bing

cs.AI

Аннотация

Мы предлагаем новую парадигму проектирования промптов, которая бросает вызов общепринятым подходам в работе с большими языковыми моделями (LLM). В то время как традиционные методы делают акцент на тщательно продуманных инструкциях и демонстрациях для обучения в контексте (ICL), мы показываем, что удаление случайных демонстраций и превращение их в, казалось бы, бессвязный "бессмысленный текст" может значительно улучшить производительность в различных задачах. Примечательно, что такой "бессмысленный текст" всегда соответствует или превосходит современные методы автоматической оптимизации промптов, достигая существенных улучшений независимо от настройки LLM. Однако поиск эффективной стратегии удаления является нетривиальной задачей, поскольку существующие методы атрибуции и алгоритмы сжатия промптов не дают устойчивых результатов, не говоря уже о человеческой интуиции. В связи с этим мы предлагаем фреймворк для самостоятельной оптимизации промптов, PromptQuine, — эволюционный поисковый фреймворк, который автоматически находит стратегию удаления, используя лишь ограниченные объемы данных. Подобно возникающей сложности в природе — такой как симбиоз и самоорганизация, — которая появляется в ответ на ограниченность ресурсов, наш фреймворк развивает и совершенствует нестандартные, но высокоэффективные промпты, используя только токены, присутствующие в контексте. Мы демонстрируем его эффективность в задачах классификации, множественного выбора, генерации и математического рассуждения на различных LLM, достигая при этом достойной производительности в реальном времени. Мы надеемся, что наши результаты послужат руководством для механистических исследований обучения в контексте и призывом к действию, чтобы проложить путь для более открытых поисковых алгоритмов, направленных на более эффективное использование LLM.

English

We propose a novel prompt design paradigm that challenges conventional wisdom in large language model (LLM) prompting. While conventional wisdom prioritizes well-crafted instructions and demonstrations for in-context learning (ICL), we show that pruning random demonstrations into seemingly incoherent "gibberish" can remarkably improve performance across diverse tasks. Notably, the "gibberish" always matches or surpasses state-of-the-art automatic prompt optimization techniques, achieving substantial gains regardless of LLM alignment. Nevertheless, discovering an effective pruning strategy is non-trivial, as existing attribution methods and prompt compression algorithms fail to deliver robust results, let alone human intuition. In terms of this, we propose a self-discover prompt optimization framework, PromptQuine, an evolutionary search framework that automatically searches for the pruning strategy by itself using only low-data regimes. Much like the emergent complexity in nature--such as symbiosis and self-organization--arising in response to resource constraints, our framework evolves and refines unconventional yet highly effective prompts by leveraging only the tokens present within the context. We demonstrate its effectiveness across classification, multi-choice question answering, generation and math reasoning tasks across LLMs, while achieving decent runtime efficiency. We hope our findings can guide mechanistic studies on in-context learning, and provide a call to action, to pave the way for more open-ended search algorithms for more effective LLM prompting.