MARS: Een Multi-Agent Framework met Socratische Begeleiding voor Geautomatiseerde Promptoptimalisatie

MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization

March 21, 2025

Auteurs: Jian Zhang, Zhangqi Wang, Haiping Zhu, Jun Liu, Qika Lin, Erik Cambria

cs.AI

Samenvatting

Het basis vraag-antwoordformaat van grote taalmodellen omvat het invoeren van een prompt en het ontvangen van een reactie, waarbij de kwaliteit van de prompt direct van invloed is op de effectiviteit van het antwoord. Automatische Promptoptimalisatie (APO) streeft ernaar om los te komen van de cognitieve vooroordelen van handmatig ontworpen prompts en verkent een breder ontwerpgebied voor prompts. Bestaande APO-methoden kampen echter met beperkte flexibiliteit van vaste sjablonen en inefficiënte zoekacties in promptruimtes als belangrijke problemen. Daarom stellen we een Multi-Agent framework Incorporating Socratic guidance (MARS) voor, dat multi-agentfusietechnologie gebruikt voor automatische planning, met geleidelijke continue optimalisatie en evaluatie. Specifiek bestaat MARS uit zeven agents, elk met verschillende functionaliteiten, die autonoom de Planner gebruiken om een optimalisatiepad te bedenken dat flexibiliteit waarborgt. Daarnaast wordt een Teacher-Critic-Student Socratisch dialoogpatroon gebruikt om de prompts iteratief te optimaliseren terwijl effectief wordt gezocht. We voeren uitgebreide experimenten uit op verschillende datasets om de effectiviteit van onze methode te valideren, en voeren aanvullende analytische experimenten uit om de vooruitgang van het model evenals de interpreteerbaarheid te beoordelen.

English

The basic question-answering format of large language models involves inputting a prompt and receiving a response, and the quality of the prompt directly impacts the effectiveness of the response. Automated Prompt Optimization (APO) aims to break free from the cognitive biases of manually designed prompts and explores a broader design space for prompts. However, existing APO methods suffer from limited flexibility of fixed templates and inefficient search in prompt spaces as key issues. To this end, we propose a Multi-Agent framework Incorporating Socratic guidance (MARS), which utilizes multi-agent fusion technology for automatic planning, with gradual continuous optimization and evaluation. Specifically, MARS comprises seven agents, each with distinct functionalities, which autonomously use the Planner to devise an optimization path that ensures flexibility. Additionally, it employs a Teacher-Critic-Student Socratic dialogue pattern to iteratively optimize the prompts while conducting effective search. We conduct extensive experiments on various datasets to validate the effectiveness of our method, and perform additional analytical experiments to assess the model's advancement as well as the interpretability.