MARS: 자동 프롬프트 최적화를 위한 소크라테스식 지도를 통합한 다중 에이전트 프레임워크

MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization

March 21, 2025

저자: Jian Zhang, Zhangqi Wang, Haiping Zhu, Jun Liu, Qika Lin, Erik Cambria

cs.AI

초록

대규모 언어 모델의 기본 질의응답 형식은 프롬프트를 입력하고 응답을 받는 것으로, 프롬프트의 질이 응답의 효과에 직접적인 영향을 미칩니다. 자동 프롬프트 최적화(Automated Prompt Optimization, APO)는 수동으로 설계된 프롬프트의 인지적 편향에서 벗어나 더 넓은 프롬프트 설계 공간을 탐구하는 것을 목표로 합니다. 그러나 기존 APO 방법은 고정된 템플릿의 제한된 유연성과 프롬프트 공간에서의 비효율적인 탐색이라는 주요 문제를 안고 있습니다. 이를 해결하기 위해, 우리는 소크라테스 지도를 통합한 다중 에이전트 프레임워크(Multi-Agent framework Incorporating Socratic guidance, MARS)를 제안합니다. MARS는 다중 에이전트 융합 기술을 활용해 자동 계획을 수행하며, 점진적이고 지속적인 최적화와 평가를 보장합니다. 구체적으로, MARS는 각각 고유한 기능을 가진 7개의 에이전트로 구성되어 있으며, 이들은 Planner를 자율적으로 사용해 유연성을 보장하는 최적화 경로를 설계합니다. 또한, Teacher-Critic-Student 소크라테스 대화 패턴을 활용해 프롬프트를 반복적으로 최적화하면서 효과적인 탐색을 수행합니다. 우리는 다양한 데이터셋에서 광범위한 실험을 통해 이 방법의 효과를 검증하고, 추가 분석 실험을 통해 모델의 발전과 해석 가능성을 평가합니다.

English

The basic question-answering format of large language models involves inputting a prompt and receiving a response, and the quality of the prompt directly impacts the effectiveness of the response. Automated Prompt Optimization (APO) aims to break free from the cognitive biases of manually designed prompts and explores a broader design space for prompts. However, existing APO methods suffer from limited flexibility of fixed templates and inefficient search in prompt spaces as key issues. To this end, we propose a Multi-Agent framework Incorporating Socratic guidance (MARS), which utilizes multi-agent fusion technology for automatic planning, with gradual continuous optimization and evaluation. Specifically, MARS comprises seven agents, each with distinct functionalities, which autonomously use the Planner to devise an optimization path that ensures flexibility. Additionally, it employs a Teacher-Critic-Student Socratic dialogue pattern to iteratively optimize the prompts while conducting effective search. We conduct extensive experiments on various datasets to validate the effectiveness of our method, and perform additional analytical experiments to assess the model's advancement as well as the interpretability.