MARS：自動プロンプト最適化のためのソクラテス的ガイダンスを統合したマルチエージェントフレームワーク

MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization

March 21, 2025

著者: Jian Zhang, Zhangqi Wang, Haiping Zhu, Jun Liu, Qika Lin, Erik Cambria

cs.AI

要旨

大規模言語モデルの基本的な質問応答形式は、プロンプトを入力し応答を受け取るものであり、プロンプトの質が応答の効果に直接影響を与えます。自動プロンプト最適化（APO）は、手動で設計されたプロンプトの認知的バイアスから脱却し、より広範なプロンプト設計空間を探求することを目指しています。しかし、既存のAPO手法は、固定テンプレートの柔軟性の限界とプロンプト空間における非効率的な探索が主要な課題となっています。これに対処するため、我々はソクラテス的指導を取り入れたマルチエージェントフレームワーク（MARS）を提案します。MARSは、自動計画のためのマルチエージェント融合技術を活用し、段階的な継続的最適化と評価を行います。具体的には、MARSは7つのエージェントで構成され、それぞれが異なる機能を持ち、Plannerを使用して柔軟性を確保する最適化パスを自律的に考案します。さらに、Teacher-Critic-Studentのソクラテス的対話パターンを採用し、効果的な探索を行いながらプロンプトを反復的に最適化します。我々は、様々なデータセットで広範な実験を行い、本手法の有効性を検証し、モデルの進歩と解釈可能性を評価するための追加の分析実験も実施しました。

English

The basic question-answering format of large language models involves inputting a prompt and receiving a response, and the quality of the prompt directly impacts the effectiveness of the response. Automated Prompt Optimization (APO) aims to break free from the cognitive biases of manually designed prompts and explores a broader design space for prompts. However, existing APO methods suffer from limited flexibility of fixed templates and inefficient search in prompt spaces as key issues. To this end, we propose a Multi-Agent framework Incorporating Socratic guidance (MARS), which utilizes multi-agent fusion technology for automatic planning, with gradual continuous optimization and evaluation. Specifically, MARS comprises seven agents, each with distinct functionalities, which autonomously use the Planner to devise an optimization path that ensures flexibility. Additionally, it employs a Teacher-Critic-Student Socratic dialogue pattern to iteratively optimize the prompts while conducting effective search. We conduct extensive experiments on various datasets to validate the effectiveness of our method, and perform additional analytical experiments to assess the model's advancement as well as the interpretability.