Meta-Prompting: Aprimorando Modelos de Linguagem com Estruturação Independente de Tarefas

Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding

January 23, 2024

Autores: Mirac Suzgun, Adam Tauman Kalai

cs.AI

Resumo

Apresentamos o meta-prompting, uma técnica eficaz de scaffolding projetada para aprimorar a funcionalidade de modelos de linguagem (LMs). Essa abordagem transforma um único LM em um condutor multifacetado, habilidoso em gerenciar e integrar múltiplas consultas independentes de LMs. Ao empregar instruções de alto nível, o meta-prompting orienta o LM a decompor tarefas complexas em subtarefas menores e mais gerenciáveis. Essas subtarefas são então tratadas por instâncias distintas de "especialistas" do mesmo LM, cada uma operando sob instruções específicas e personalizadas. Central a esse processo está o próprio LM, em seu papel de condutor, que garante comunicação fluida e integração eficaz das saídas desses modelos especializados. Ele também emprega seu pensamento crítico inerente e processos robustos de verificação para refinar e autenticar o resultado final. Essa abordagem colaborativa de prompting capacita um único LM a atuar simultaneamente como um orquestrador abrangente e um painel de especialistas diversos, melhorando significativamente seu desempenho em uma ampla gama de tarefas. A natureza zero-shot e agnóstica a tarefas do meta-prompting simplifica bastante a interação do usuário, eliminando a necessidade de instruções detalhadas e específicas para cada tarefa. Além disso, nossa pesquisa demonstra a integração perfeita de ferramentas externas, como um interpretador Python, no framework de meta-prompting, ampliando assim sua aplicabilidade e utilidade. Por meio de experimentação rigorosa com o GPT-4, estabelecemos a superioridade do meta-prompting sobre métodos convencionais de scaffolding: Quando calculada a média em todas as tarefas, incluindo o Jogo de 24, Xeque-mate em Um e Quebra-cabeças de Programação Python, o meta-prompting, aprimorado com a funcionalidade de interpretador Python, supera o prompting padrão em 17,1%, o prompting especializado (dinâmico) em 17,3% e o prompting multipersona em 15,2%.

English

We introduce meta-prompting, an effective scaffolding technique designed to enhance the functionality of language models (LMs). This approach transforms a single LM into a multi-faceted conductor, adept at managing and integrating multiple independent LM queries. By employing high-level instructions, meta-prompting guides the LM to break down complex tasks into smaller, more manageable subtasks. These subtasks are then handled by distinct "expert" instances of the same LM, each operating under specific, tailored instructions. Central to this process is the LM itself, in its role as the conductor, which ensures seamless communication and effective integration of the outputs from these expert models. It additionally employs its inherent critical thinking and robust verification processes to refine and authenticate the end result. This collaborative prompting approach empowers a single LM to simultaneously act as a comprehensive orchestrator and a panel of diverse experts, significantly enhancing its performance across a wide array of tasks. The zero-shot, task-agnostic nature of meta-prompting greatly simplifies user interaction by obviating the need for detailed, task-specific instructions. Furthermore, our research demonstrates the seamless integration of external tools, such as a Python interpreter, into the meta-prompting framework, thereby broadening its applicability and utility. Through rigorous experimentation with GPT-4, we establish the superiority of meta-prompting over conventional scaffolding methods: When averaged across all tasks, including the Game of 24, Checkmate-in-One, and Python Programming Puzzles, meta-prompting, augmented with a Python interpreter functionality, surpasses standard prompting by 17.1%, expert (dynamic) prompting by 17.3%, and multipersona prompting by 15.2%.