Meta-Prompting: Taalonafhankelijke Steigers voor het Verbeteren van Taalmodellen

Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding

January 23, 2024

Auteurs: Mirac Suzgun, Adam Tauman Kalai

cs.AI

Samenvatting

We introduceren meta-prompting, een effectieve scaffoldingtechniek die is ontworpen om de functionaliteit van taalmodelen (LMs) te verbeteren. Deze aanpak transformeert een enkel LM in een veelzijdige dirigent, bedreven in het beheren en integreren van meerdere onafhankelijke LM-query's. Door gebruik te maken van hoogwaardige instructies, leidt meta-prompting het LM ertoe complexe taken op te splitsen in kleinere, beter beheersbare subtaken. Deze subtaken worden vervolgens afgehandeld door afzonderlijke "expert"-instanties van hetzelfde LM, elk werkend onder specifieke, op maat gemaakte instructies. Centraal in dit proces staat het LM zelf, in zijn rol als dirigent, dat zorgt voor naadloze communicatie en effectieve integratie van de uitvoer van deze expertmodellen. Het maakt daarnaast gebruik van zijn inherente kritisch denken en robuuste verificatieprocessen om het eindresultaat te verfijnen en te authenticeren. Deze collaboratieve promptingaanpak stelt een enkel LM in staat om tegelijkertijd te fungeren als een uitgebreide orkestrator en een panel van diverse experts, waardoor de prestaties aanzienlijk worden verbeterd over een breed scala aan taken. De zero-shot, taak-agnostische aard van meta-prompting vereenvoudigt de gebruikersinteractie aanzienlijk door de noodzaak van gedetailleerde, taakspecifieke instructies te elimineren. Bovendien toont ons onderzoek de naadloze integratie van externe tools, zoals een Python-interpreter, in het meta-prompting-framework, waardoor de toepasbaarheid en bruikbaarheid worden vergroot. Door middel van rigoureus experimenteren met GPT-4, stellen we de superioriteit van meta-prompting vast ten opzichte van conventionele scaffoldingmethoden: Gemiddeld over alle taken, inclusief het Game of 24, Checkmate-in-One en Python Programming Puzzles, overtreft meta-prompting, versterkt met een Python-interpreterfunctionaliteit, standaard prompting met 17,1%, expert (dynamische) prompting met 17,3% en multipersona prompting met 15,2%.

English

We introduce meta-prompting, an effective scaffolding technique designed to enhance the functionality of language models (LMs). This approach transforms a single LM into a multi-faceted conductor, adept at managing and integrating multiple independent LM queries. By employing high-level instructions, meta-prompting guides the LM to break down complex tasks into smaller, more manageable subtasks. These subtasks are then handled by distinct "expert" instances of the same LM, each operating under specific, tailored instructions. Central to this process is the LM itself, in its role as the conductor, which ensures seamless communication and effective integration of the outputs from these expert models. It additionally employs its inherent critical thinking and robust verification processes to refine and authenticate the end result. This collaborative prompting approach empowers a single LM to simultaneously act as a comprehensive orchestrator and a panel of diverse experts, significantly enhancing its performance across a wide array of tasks. The zero-shot, task-agnostic nature of meta-prompting greatly simplifies user interaction by obviating the need for detailed, task-specific instructions. Furthermore, our research demonstrates the seamless integration of external tools, such as a Python interpreter, into the meta-prompting framework, thereby broadening its applicability and utility. Through rigorous experimentation with GPT-4, we establish the superiority of meta-prompting over conventional scaffolding methods: When averaged across all tasks, including the Game of 24, Checkmate-in-One, and Python Programming Puzzles, meta-prompting, augmented with a Python interpreter functionality, surpasses standard prompting by 17.1%, expert (dynamic) prompting by 17.3%, and multipersona prompting by 15.2%.