Meta-Prompting: Verbesserung von Sprachmodellen durch aufgabenunabhängige Gerüststrukturen

Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding

January 23, 2024

Autoren: Mirac Suzgun, Adam Tauman Kalai

cs.AI

Zusammenfassung

Wir stellen Meta-Prompting vor, eine effektive Scaffolding-Technik, die entwickelt wurde, um die Funktionalität von Sprachmodellen (LMs) zu verbessern. Dieser Ansatz verwandelt ein einzelnes LM in einen vielseitigen Dirigenten, der geschickt mehrere unabhängige LM-Abfragen verwaltet und integriert. Durch den Einsatz von hochrangigen Anweisungen leitet Meta-Prompting das LM an, komplexe Aufgaben in kleinere, besser handhabbare Teilaufgaben zu zerlegen. Diese Teilaufgaben werden dann von verschiedenen „Experten“-Instanzen desselben LM bearbeitet, die jeweils unter spezifischen, maßgeschneiderten Anweisungen operieren. Kern dieses Prozesses ist das LM selbst in seiner Rolle als Dirigent, das eine nahtlose Kommunikation und effektive Integration der Ausgaben dieser Expertenmodelle sicherstellt. Es nutzt zudem seine inhärenten Fähigkeiten zum kritischen Denken und robuste Verifizierungsprozesse, um das Endergebnis zu verfeinern und zu authentifizieren. Dieser kollaborative Prompting-Ansatz befähigt ein einzelnes LM, gleichzeitig als umfassender Orchestrator und als Panel diverser Experten zu agieren, wodurch seine Leistung über eine breite Palette von Aufgaben signifikant gesteigert wird. Die Zero-Shot-, Aufgaben-agnostische Natur von Meta-Prompting vereinfacht die Benutzerinteraktion erheblich, da detaillierte, aufgabenbezogene Anweisungen entfallen. Darüber hinaus zeigt unsere Forschung die nahtlose Integration externer Tools, wie beispielsweise eines Python-Interpreters, in das Meta-Prompting-Framework, wodurch dessen Anwendbarkeit und Nutzen erweitert werden. Durch rigorose Experimente mit GPT-4 belegen wir die Überlegenheit von Meta-Prompting gegenüber konventionellen Scaffolding-Methoden: Im Durchschnitt über alle Aufgaben, einschließlich des Spiels der 24, Schachmatt-in-Einem und Python-Programmierrätsel, übertrifft Meta-Prompting, erweitert um eine Python-Interpreter-Funktionalität, Standard-Prompting um 17,1 %, Expert (Dynamic)-Prompting um 17,3 % und Multipersona-Prompting um 15,2 %.

English

We introduce meta-prompting, an effective scaffolding technique designed to enhance the functionality of language models (LMs). This approach transforms a single LM into a multi-faceted conductor, adept at managing and integrating multiple independent LM queries. By employing high-level instructions, meta-prompting guides the LM to break down complex tasks into smaller, more manageable subtasks. These subtasks are then handled by distinct "expert" instances of the same LM, each operating under specific, tailored instructions. Central to this process is the LM itself, in its role as the conductor, which ensures seamless communication and effective integration of the outputs from these expert models. It additionally employs its inherent critical thinking and robust verification processes to refine and authenticate the end result. This collaborative prompting approach empowers a single LM to simultaneously act as a comprehensive orchestrator and a panel of diverse experts, significantly enhancing its performance across a wide array of tasks. The zero-shot, task-agnostic nature of meta-prompting greatly simplifies user interaction by obviating the need for detailed, task-specific instructions. Furthermore, our research demonstrates the seamless integration of external tools, such as a Python interpreter, into the meta-prompting framework, thereby broadening its applicability and utility. Through rigorous experimentation with GPT-4, we establish the superiority of meta-prompting over conventional scaffolding methods: When averaged across all tasks, including the Game of 24, Checkmate-in-One, and Python Programming Puzzles, meta-prompting, augmented with a Python interpreter functionality, surpasses standard prompting by 17.1%, expert (dynamic) prompting by 17.3%, and multipersona prompting by 15.2%.