Evolução de Prompts em Contexto: Uma Perspectiva Aberta e Autorreplicante

Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective

June 22, 2025

Autores: Jianyu Wang, Zhiqiang Hu, Lidong Bing

cs.AI

Resumo

Propomos um novo paradigma de design de prompts que desafia a sabedoria convencional no uso de grandes modelos de linguagem (LLMs). Enquanto a sabedoria convencional prioriza instruções bem elaboradas e demonstrações para aprendizado em contexto (ICL), mostramos que podar demonstrações aleatórias em "disparates" aparentemente incoerentes pode melhorar significativamente o desempenho em diversas tarefas. Notavelmente, os "disparates" sempre igualam ou superam as técnicas de otimização automática de prompts de última geração, alcançando ganhos substanciais independentemente do alinhamento do LLM. No entanto, descobrir uma estratégia de poda eficaz não é trivial, uma vez que os métodos de atribuição existentes e os algoritmos de compressão de prompts não conseguem fornecer resultados robustos, muito menos a intuição humana. Nesse sentido, propomos um framework de otimização de prompts auto-descobridor, o PromptQuine, um framework de busca evolucionária que automaticamente busca a estratégia de poda por si só, utilizando apenas regimes de baixo volume de dados. Assim como a complexidade emergente na natureza—como simbiose e auto-organização—que surge em resposta a restrições de recursos, nosso framework evolui e refina prompts não convencionais, porém altamente eficazes, aproveitando apenas os tokens presentes no contexto. Demonstramos sua eficácia em tarefas de classificação, respostas a perguntas de múltipla escolha, geração e raciocínio matemático em diversos LLMs, ao mesmo tempo que alcança uma eficiência de tempo de execução decente. Esperamos que nossas descobertas possam guiar estudos mecanicistas sobre aprendizado em contexto e sirvam como um chamado à ação, abrindo caminho para algoritmos de busca mais abertos e eficazes para o uso de LLMs.

English

We propose a novel prompt design paradigm that challenges conventional wisdom in large language model (LLM) prompting. While conventional wisdom prioritizes well-crafted instructions and demonstrations for in-context learning (ICL), we show that pruning random demonstrations into seemingly incoherent "gibberish" can remarkably improve performance across diverse tasks. Notably, the "gibberish" always matches or surpasses state-of-the-art automatic prompt optimization techniques, achieving substantial gains regardless of LLM alignment. Nevertheless, discovering an effective pruning strategy is non-trivial, as existing attribution methods and prompt compression algorithms fail to deliver robust results, let alone human intuition. In terms of this, we propose a self-discover prompt optimization framework, PromptQuine, an evolutionary search framework that automatically searches for the pruning strategy by itself using only low-data regimes. Much like the emergent complexity in nature--such as symbiosis and self-organization--arising in response to resource constraints, our framework evolves and refines unconventional yet highly effective prompts by leveraging only the tokens present within the context. We demonstrate its effectiveness across classification, multi-choice question answering, generation and math reasoning tasks across LLMs, while achieving decent runtime efficiency. We hope our findings can guide mechanistic studies on in-context learning, and provide a call to action, to pave the way for more open-ended search algorithms for more effective LLM prompting.