Meta-Prompting : Amélioration des modèles de langage grâce à un échafaudage agnostique aux tâches

Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding

January 23, 2024

Auteurs: Mirac Suzgun, Adam Tauman Kalai

cs.AI

Résumé

Nous introduisons le méta-prompting, une technique d'échafaudage efficace conçue pour améliorer la fonctionnalité des modèles de langage (LM). Cette approche transforme un seul LM en un chef d'orchestre polyvalent, habile à gérer et intégrer plusieurs requêtes LM indépendantes. En utilisant des instructions de haut niveau, le méta-prompting guide le LM pour décomposer des tâches complexes en sous-tâches plus petites et plus gérables. Ces sous-tâches sont ensuite traitées par des instances distinctes "experts" du même LM, chacune opérant sous des instructions spécifiques et adaptées. Au cœur de ce processus se trouve le LM lui-même, dans son rôle de chef d'orchestre, qui assure une communication fluide et une intégration efficace des sorties de ces modèles experts. Il utilise également sa pensée critique inhérente et ses processus de vérification robustes pour affiner et authentifier le résultat final. Cette approche de prompt collaboratif permet à un seul LM d'agir simultanément comme un orchestrateur complet et un panel d'experts diversifiés, améliorant significativement ses performances sur une large gamme de tâches. La nature zero-shot et agnostique aux tâches du méta-prompting simplifie grandement l'interaction utilisateur en évitant le besoin d'instructions détaillées spécifiques à la tâche. De plus, notre recherche démontre l'intégration transparente d'outils externes, tels qu'un interpréteur Python, dans le cadre du méta-prompting, élargissant ainsi son applicabilité et son utilité. À travers des expérimentations rigoureuses avec GPT-4, nous établissons la supériorité du méta-prompting par rapport aux méthodes d'échafaudage conventionnelles : en moyenne sur toutes les tâches, y compris le Jeu de 24, Checkmate-in-One et les énigmes de programmation Python, le méta-prompting, augmenté d'une fonctionnalité d'interpréteur Python, surpasse le prompt standard de 17,1 %, le prompt expert (dynamique) de 17,3 % et le prompt multipersona de 15,2 %.

English

We introduce meta-prompting, an effective scaffolding technique designed to enhance the functionality of language models (LMs). This approach transforms a single LM into a multi-faceted conductor, adept at managing and integrating multiple independent LM queries. By employing high-level instructions, meta-prompting guides the LM to break down complex tasks into smaller, more manageable subtasks. These subtasks are then handled by distinct "expert" instances of the same LM, each operating under specific, tailored instructions. Central to this process is the LM itself, in its role as the conductor, which ensures seamless communication and effective integration of the outputs from these expert models. It additionally employs its inherent critical thinking and robust verification processes to refine and authenticate the end result. This collaborative prompting approach empowers a single LM to simultaneously act as a comprehensive orchestrator and a panel of diverse experts, significantly enhancing its performance across a wide array of tasks. The zero-shot, task-agnostic nature of meta-prompting greatly simplifies user interaction by obviating the need for detailed, task-specific instructions. Furthermore, our research demonstrates the seamless integration of external tools, such as a Python interpreter, into the meta-prompting framework, thereby broadening its applicability and utility. Through rigorous experimentation with GPT-4, we establish the superiority of meta-prompting over conventional scaffolding methods: When averaged across all tasks, including the Game of 24, Checkmate-in-One, and Python Programming Puzzles, meta-prompting, augmented with a Python interpreter functionality, surpasses standard prompting by 17.1%, expert (dynamic) prompting by 17.3%, and multipersona prompting by 15.2%.