Meta-Prompting: Potenziamento dei Modelli Linguistici con Scaffolding Indipendente dal Compito

Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding

January 23, 2024

Autori: Mirac Suzgun, Adam Tauman Kalai

cs.AI

Abstract

Introduciamo il meta-prompting, una tecnica di scaffolding efficace progettata per migliorare la funzionalità dei modelli linguistici (LM). Questo approccio trasforma un singolo LM in un conduttore multifaccettato, abile nel gestire e integrare molteplici query indipendenti di LM. Utilizzando istruzioni di alto livello, il meta-prompting guida il LM a scomporre compiti complessi in sottotask più piccoli e gestibili. Questi sottotask vengono poi affrontati da distinte istanze "esperte" dello stesso LM, ciascuna operante sotto istruzioni specifiche e personalizzate. Al centro di questo processo c'è il LM stesso, nel suo ruolo di conduttore, che garantisce una comunicazione fluida e un'integrazione efficace degli output di questi modelli esperti. Inoltre, impiega il suo intrinseco pensiero critico e robusti processi di verifica per affinare e autenticare il risultato finale. Questo approccio collaborativo di prompting consente a un singolo LM di agire simultaneamente come un orchestratore completo e un panel di esperti diversificati, migliorando significativamente le sue prestazioni in un'ampia gamma di task. La natura zero-shot e task-agnostica del meta-prompting semplifica notevolmente l'interazione dell'utente, eliminando la necessità di istruzioni dettagliate e specifiche per il task. Inoltre, la nostra ricerca dimostra l'integrazione senza soluzione di continuità di strumenti esterni, come un interprete Python, nel framework di meta-prompting, ampliandone così l'applicabilità e l'utilità. Attraverso rigorosi esperimenti con GPT-4, stabiliamo la superiorità del meta-prompting rispetto ai metodi di scaffolding convenzionali: in media su tutti i task, inclusi il Gioco del 24, Scacco Matto in Una Mossa e gli Enigmi di Programmazione Python, il meta-prompting, potenziato con la funzionalità di un interprete Python, supera il prompting standard del 17,1%, il prompting esperto (dinamico) del 17,3% e il prompting multipersona del 15,2%.

English

We introduce meta-prompting, an effective scaffolding technique designed to enhance the functionality of language models (LMs). This approach transforms a single LM into a multi-faceted conductor, adept at managing and integrating multiple independent LM queries. By employing high-level instructions, meta-prompting guides the LM to break down complex tasks into smaller, more manageable subtasks. These subtasks are then handled by distinct "expert" instances of the same LM, each operating under specific, tailored instructions. Central to this process is the LM itself, in its role as the conductor, which ensures seamless communication and effective integration of the outputs from these expert models. It additionally employs its inherent critical thinking and robust verification processes to refine and authenticate the end result. This collaborative prompting approach empowers a single LM to simultaneously act as a comprehensive orchestrator and a panel of diverse experts, significantly enhancing its performance across a wide array of tasks. The zero-shot, task-agnostic nature of meta-prompting greatly simplifies user interaction by obviating the need for detailed, task-specific instructions. Furthermore, our research demonstrates the seamless integration of external tools, such as a Python interpreter, into the meta-prompting framework, thereby broadening its applicability and utility. Through rigorous experimentation with GPT-4, we establish the superiority of meta-prompting over conventional scaffolding methods: When averaged across all tasks, including the Game of 24, Checkmate-in-One, and Python Programming Puzzles, meta-prompting, augmented with a Python interpreter functionality, surpasses standard prompting by 17.1%, expert (dynamic) prompting by 17.3%, and multipersona prompting by 15.2%.