Meta-Prompting: Mejorando Modelos de Lenguaje con Andamiaje Independiente de la Tarea

Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding

January 23, 2024

Autores: Mirac Suzgun, Adam Tauman Kalai

cs.AI

Resumen

Presentamos el meta-prompting, una técnica de andamiaje efectiva diseñada para mejorar la funcionalidad de los modelos de lenguaje (LMs). Este enfoque transforma un único LM en un conductor multifacético, hábil en la gestión e integración de múltiples consultas independientes de LMs. Al emplear instrucciones de alto nivel, el meta-prompting guía al LM para descomponer tareas complejas en subtareas más pequeñas y manejables. Estas subtareas son luego manejadas por instancias "expertas" distintas del mismo LM, cada una operando bajo instrucciones específicas y personalizadas. Central a este proceso es el propio LM, en su rol de conductor, que asegura una comunicación fluida y una integración efectiva de los resultados de estos modelos expertos. Además, emplea su pensamiento crítico inherente y procesos de verificación robustos para refinar y autenticar el resultado final. Este enfoque colaborativo de prompting permite que un único LM actúe simultáneamente como un orquestador integral y un panel de expertos diversos, mejorando significativamente su rendimiento en una amplia gama de tareas. La naturaleza zero-shot y agnóstica a la tarea del meta-prompting simplifica enormemente la interacción del usuario al eliminar la necesidad de instrucciones detalladas y específicas para cada tarea. Además, nuestra investigación demuestra la integración fluida de herramientas externas, como un intérprete de Python, en el marco del meta-prompting, ampliando así su aplicabilidad y utilidad. A través de experimentación rigurosa con GPT-4, establecemos la superioridad del meta-prompting sobre los métodos convencionales de andamiaje: en promedio, en todas las tareas, incluyendo el Juego del 24, Jaque Mate en Uno y Acertijos de Programación en Python, el meta-prompting, aumentado con la funcionalidad de un intérprete de Python, supera al prompting estándar en un 17.1%, al prompting experto (dinámico) en un 17.3% y al prompting multipersona en un 15.2%.

English

We introduce meta-prompting, an effective scaffolding technique designed to enhance the functionality of language models (LMs). This approach transforms a single LM into a multi-faceted conductor, adept at managing and integrating multiple independent LM queries. By employing high-level instructions, meta-prompting guides the LM to break down complex tasks into smaller, more manageable subtasks. These subtasks are then handled by distinct "expert" instances of the same LM, each operating under specific, tailored instructions. Central to this process is the LM itself, in its role as the conductor, which ensures seamless communication and effective integration of the outputs from these expert models. It additionally employs its inherent critical thinking and robust verification processes to refine and authenticate the end result. This collaborative prompting approach empowers a single LM to simultaneously act as a comprehensive orchestrator and a panel of diverse experts, significantly enhancing its performance across a wide array of tasks. The zero-shot, task-agnostic nature of meta-prompting greatly simplifies user interaction by obviating the need for detailed, task-specific instructions. Furthermore, our research demonstrates the seamless integration of external tools, such as a Python interpreter, into the meta-prompting framework, thereby broadening its applicability and utility. Through rigorous experimentation with GPT-4, we establish the superiority of meta-prompting over conventional scaffolding methods: When averaged across all tasks, including the Game of 24, Checkmate-in-One, and Python Programming Puzzles, meta-prompting, augmented with a Python interpreter functionality, surpasses standard prompting by 17.1%, expert (dynamic) prompting by 17.3%, and multipersona prompting by 15.2%.