Мета-подсказки: Улучшение языковых моделей с помощью задачно-независимых структур

Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding

January 23, 2024

Авторы: Mirac Suzgun, Adam Tauman Kalai

cs.AI

Аннотация

Мы представляем мета-подсказку (meta-prompting) — эффективную методику структурирования, предназначенную для расширения функциональности языковых моделей (LM). Этот подход превращает единую языковую модель в многофункционального дирижера, способного управлять и интегрировать множество независимых запросов к LM. Используя высокоуровневые инструкции, мета-подсказка направляет LM на разбиение сложных задач на более мелкие и управляемые подзадачи. Эти подзадачи затем обрабатываются отдельными "экспертными" экземплярами той же LM, каждый из которых работает под специфическими, адаптированными инструкциями. Ключевую роль в этом процессе играет сама LM в роли дирижера, обеспечивая бесперебойную коммуникацию и эффективную интеграцию результатов работы этих экспертных моделей. Кроме того, она использует свои встроенные механизмы критического мышления и строгой проверки для уточнения и подтверждения конечного результата. Такой подход коллективной подсказки позволяет одной LM одновременно выступать в роли всестороннего организатора и группы разнообразных экспертов, значительно повышая её производительность в широком спектре задач. Нулевой характер мета-подсказки, не зависящий от конкретной задачи, значительно упрощает взаимодействие с пользователем, устраняя необходимость в детальных, специфичных для задачи инструкциях. Более того, наше исследование демонстрирует бесшовную интеграцию внешних инструментов, таких как интерпретатор Python, в структуру мета-подсказки, что расширяет её применимость и полезность. В ходе тщательных экспериментов с GPT-4 мы установили превосходство мета-подсказки над традиционными методами структурирования: в среднем по всем задачам, включая игру "24", "Мат в один ход" и головоломки по программированию на Python, мета-подсказка, дополненная функциональностью интерпретатора Python, превосходит стандартную подсказку на 17.1%, экспертную (динамическую) подсказку на 17.3% и многоперсональную подсказку на 15.2%.

English

We introduce meta-prompting, an effective scaffolding technique designed to enhance the functionality of language models (LMs). This approach transforms a single LM into a multi-faceted conductor, adept at managing and integrating multiple independent LM queries. By employing high-level instructions, meta-prompting guides the LM to break down complex tasks into smaller, more manageable subtasks. These subtasks are then handled by distinct "expert" instances of the same LM, each operating under specific, tailored instructions. Central to this process is the LM itself, in its role as the conductor, which ensures seamless communication and effective integration of the outputs from these expert models. It additionally employs its inherent critical thinking and robust verification processes to refine and authenticate the end result. This collaborative prompting approach empowers a single LM to simultaneously act as a comprehensive orchestrator and a panel of diverse experts, significantly enhancing its performance across a wide array of tasks. The zero-shot, task-agnostic nature of meta-prompting greatly simplifies user interaction by obviating the need for detailed, task-specific instructions. Furthermore, our research demonstrates the seamless integration of external tools, such as a Python interpreter, into the meta-prompting framework, thereby broadening its applicability and utility. Through rigorous experimentation with GPT-4, we establish the superiority of meta-prompting over conventional scaffolding methods: When averaged across all tasks, including the Game of 24, Checkmate-in-One, and Python Programming Puzzles, meta-prompting, augmented with a Python interpreter functionality, surpasses standard prompting by 17.1%, expert (dynamic) prompting by 17.3%, and multipersona prompting by 15.2%.