메타 프롬프팅: 작업에 구애받지 않는 스캐폴딩을 통해 언어 모델 향상하기

Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding

January 23, 2024

저자: Mirac Suzgun, Adam Tauman Kalai

cs.AI

초록

우리는 언어 모델(LM)의 기능을 향상시키기 위해 설계된 효과적인 스캐폴딩 기법인 메타 프롬프팅을 소개한다. 이 접근법은 단일 LM을 다면적 지휘자로 변환하여, 여러 독립적인 LM 질의를 관리하고 통합하는 데 능숙하도록 만든다. 메타 프롬프팅은 상위 수준의 지시를 사용하여 LM이 복잡한 작업을 더 작고 관리하기 쉬운 하위 작업으로 분해하도록 안내한다. 이러한 하위 작업은 각각 특정한 맞춤형 지시를 받는 동일한 LM의 별도 "전문가" 인스턴스에 의해 처리된다. 이 과정의 핵심은 지휘자 역할을 하는 LM 자체로, 이는 전문가 모델들의 출력을 원활하게 통신하고 효과적으로 통합하는 것을 보장한다. 또한, LM은 내재된 비판적 사고와 강력한 검증 프로세스를 활용하여 최종 결과를 정제하고 인증한다. 이 협업적 프롬프팅 접근법은 단일 LM이 포괄적인 오케스트레이터와 다양한 전문가 패널의 역할을 동시에 수행할 수 있게 하여, 다양한 작업에서의 성능을 크게 향상시킨다. 메타 프롬프팅의 제로샷, 작업-불특정적 특성은 사용자 상호작용을 크게 단순화하며, 작업별 상세한 지시의 필요성을 없앤다. 더 나아가, 우리의 연구는 Python 인터프리터와 같은 외부 도구를 메타 프롬프팅 프레임워크에 원활하게 통합함으로써 그 적용 범위와 유용성을 확장한다. GPT-4를 사용한 엄격한 실험을 통해, 우리는 메타 프롬프팅이 기존의 스캐폴딩 방법보다 우수함을 입증했다: 24 게임, 체크메이트-원, Python 프로그래밍 퍼즐을 포함한 모든 작업에서 평균적으로, Python 인터프리터 기능이 추가된 메타 프롬프팅은 표준 프롬프팅보다 17.1%, 전문가(동적) 프롬프팅보다 17.3%, 멀티페르소나 프롬프팅보다 15.2% 더 높은 성능을 보였다.

English

We introduce meta-prompting, an effective scaffolding technique designed to enhance the functionality of language models (LMs). This approach transforms a single LM into a multi-faceted conductor, adept at managing and integrating multiple independent LM queries. By employing high-level instructions, meta-prompting guides the LM to break down complex tasks into smaller, more manageable subtasks. These subtasks are then handled by distinct "expert" instances of the same LM, each operating under specific, tailored instructions. Central to this process is the LM itself, in its role as the conductor, which ensures seamless communication and effective integration of the outputs from these expert models. It additionally employs its inherent critical thinking and robust verification processes to refine and authenticate the end result. This collaborative prompting approach empowers a single LM to simultaneously act as a comprehensive orchestrator and a panel of diverse experts, significantly enhancing its performance across a wide array of tasks. The zero-shot, task-agnostic nature of meta-prompting greatly simplifies user interaction by obviating the need for detailed, task-specific instructions. Furthermore, our research demonstrates the seamless integration of external tools, such as a Python interpreter, into the meta-prompting framework, thereby broadening its applicability and utility. Through rigorous experimentation with GPT-4, we establish the superiority of meta-prompting over conventional scaffolding methods: When averaged across all tasks, including the Game of 24, Checkmate-in-One, and Python Programming Puzzles, meta-prompting, augmented with a Python interpreter functionality, surpasses standard prompting by 17.1%, expert (dynamic) prompting by 17.3%, and multipersona prompting by 15.2%.