Evolución de Prompts en Contexto: Una Perspectiva Abierta y Autoreplicante

Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective

June 22, 2025

Autores: Jianyu Wang, Zhiqiang Hu, Lidong Bing

cs.AI

Resumen

Proponemos un nuevo paradigma de diseño de prompts que desafía la sabiduría convencional en la creación de prompts para modelos de lenguaje de gran escala (LLM, por sus siglas en inglés). Mientras que la sabiduría convencional prioriza instrucciones cuidadosamente elaboradas y demostraciones para el aprendizaje en contexto (ICL, por sus siglas en inglés), demostramos que podar demostraciones aleatorias hasta convertirlas en lo que parece ser un "galimatías" incoherente puede mejorar notablemente el rendimiento en diversas tareas. Es destacable que este "galimatías" iguala o supera siempre las técnicas de optimización automática de prompts más avanzadas, logrando mejoras sustanciales independientemente de la alineación del LLM. Sin embargo, descubrir una estrategia de poda efectiva no es trivial, ya que los métodos de atribución existentes y los algoritmos de compresión de prompts no logran resultados robustos, y mucho menos la intuición humana. En este sentido, proponemos un marco de optimización de prompts auto-descubierto, PromptQuine, un marco de búsqueda evolutiva que automáticamente busca la estrategia de poda por sí mismo utilizando solo regímenes de bajo volumen de datos. Al igual que la complejidad emergente en la naturaleza—como la simbiosis y la autoorganización—que surge en respuesta a las limitaciones de recursos, nuestro marco evoluciona y refina prompts no convencionales pero altamente efectivos aprovechando únicamente los tokens presentes en el contexto. Demostramos su efectividad en tareas de clasificación, respuesta a preguntas de opción múltiple, generación y razonamiento matemático en diversos LLM, logrando además una eficiencia de tiempo de ejecución decente. Esperamos que nuestros hallazgos puedan guiar estudios mecanicistas sobre el aprendizaje en contexto y sirvan como un llamado a la acción para allanar el camino hacia algoritmos de búsqueda más abiertos y efectivos en la creación de prompts para LLM.

English

We propose a novel prompt design paradigm that challenges conventional wisdom in large language model (LLM) prompting. While conventional wisdom prioritizes well-crafted instructions and demonstrations for in-context learning (ICL), we show that pruning random demonstrations into seemingly incoherent "gibberish" can remarkably improve performance across diverse tasks. Notably, the "gibberish" always matches or surpasses state-of-the-art automatic prompt optimization techniques, achieving substantial gains regardless of LLM alignment. Nevertheless, discovering an effective pruning strategy is non-trivial, as existing attribution methods and prompt compression algorithms fail to deliver robust results, let alone human intuition. In terms of this, we propose a self-discover prompt optimization framework, PromptQuine, an evolutionary search framework that automatically searches for the pruning strategy by itself using only low-data regimes. Much like the emergent complexity in nature--such as symbiosis and self-organization--arising in response to resource constraints, our framework evolves and refines unconventional yet highly effective prompts by leveraging only the tokens present within the context. We demonstrate its effectiveness across classification, multi-choice question answering, generation and math reasoning tasks across LLMs, while achieving decent runtime efficiency. We hope our findings can guide mechanistic studies on in-context learning, and provide a call to action, to pave the way for more open-ended search algorithms for more effective LLM prompting.