컨텍스트 내 프롬프트 진화: 개방형 자기복제 관점

Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective

June 22, 2025

저자: Jianyu Wang, Zhiqiang Hu, Lidong Bing

cs.AI

초록

우리는 대규모 언어 모델(LLM) 프롬프팅에서 기존의 통념에 도전하는 새로운 프롬프트 설계 패러다임을 제안한다. 기존의 통념은 인컨텍스트 학습(ICL)을 위해 잘 구성된 지시문과 데모를 우선시하지만, 우리는 무작위 데모를 겉보기에는 일관성 없는 "지저분한 말"로 정제하는 것이 다양한 작업에서 놀라운 성능 향상을 이끌어낼 수 있음을 보여준다. 특히, 이러한 "지저분한 말"은 항상 최신 자동 프롬프트 최적화 기술을 능가하거나 동등한 성능을 보이며, LLM 정렬과 무관하게 상당한 이점을 달성한다. 그러나 효과적인 정제 전략을 발견하는 것은 간단하지 않은데, 기존의 속성 분석 방법과 프롬프트 압축 알고리즘은 견고한 결과를 제공하지 못할 뿐만 아니라 인간의 직관도 이를 대체할 수 없다. 이를 위해 우리는 자가 발견 프롬프트 최적화 프레임워크인 PromptQuine을 제안한다. 이는 진화적 탐색 프레임워크로, 저데이터 환경에서 스스로 정제 전략을 탐색한다. 자연에서 발생하는 공생과 자기 조직화와 같은 복잡성이 자원 제약에 대응하여 나타나는 것처럼, 우리의 프레임워크는 컨텍스트 내에 존재하는 토큰만을 활용하여 비전통적이지만 매우 효과적인 프롬프트를 진화시키고 개선한다. 우리는 이 프레임워크의 효과를 분류, 다중 선택 질문 응답, 생성 및 수학 추론 작업에서 다양한 LLM에 걸쳐 입증하며, 상당한 런타임 효율성을 달성한다. 우리의 연구 결과가 인컨텍스트 학습에 대한 기계적 연구를 안내하고, 더 효과적인 LLM 프롬프팅을 위한 더 개방적인 탐색 알고리즘의 길을 열어주는 행동 촉구가 되기를 바란다.

English

We propose a novel prompt design paradigm that challenges conventional wisdom in large language model (LLM) prompting. While conventional wisdom prioritizes well-crafted instructions and demonstrations for in-context learning (ICL), we show that pruning random demonstrations into seemingly incoherent "gibberish" can remarkably improve performance across diverse tasks. Notably, the "gibberish" always matches or surpasses state-of-the-art automatic prompt optimization techniques, achieving substantial gains regardless of LLM alignment. Nevertheless, discovering an effective pruning strategy is non-trivial, as existing attribution methods and prompt compression algorithms fail to deliver robust results, let alone human intuition. In terms of this, we propose a self-discover prompt optimization framework, PromptQuine, an evolutionary search framework that automatically searches for the pruning strategy by itself using only low-data regimes. Much like the emergent complexity in nature--such as symbiosis and self-organization--arising in response to resource constraints, our framework evolves and refines unconventional yet highly effective prompts by leveraging only the tokens present within the context. We demonstrate its effectiveness across classification, multi-choice question answering, generation and math reasoning tasks across LLMs, while achieving decent runtime efficiency. We hope our findings can guide mechanistic studies on in-context learning, and provide a call to action, to pave the way for more open-ended search algorithms for more effective LLM prompting.