MARS : Un cadre multi-agent intégrant un guidage socratique pour l'optimisation automatisée des prompts

MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization

March 21, 2025

Auteurs: Jian Zhang, Zhangqi Wang, Haiping Zhu, Jun Liu, Qika Lin, Erik Cambria

cs.AI

Résumé

Le format de base des modèles de langage de grande taille pour les questions-réponses consiste à soumettre une invite et à recevoir une réponse, où la qualité de l'invite influence directement l'efficacité de la réponse. L'Optimisation Automatisée des Invites (APO) vise à s'affranchir des biais cognitifs liés à la conception manuelle des invites et à explorer un espace de conception plus vaste pour celles-ci. Cependant, les méthodes APO existantes souffrent de problèmes majeurs, notamment la flexibilité limitée des modèles fixes et une recherche inefficace dans les espaces d'invites. Pour remédier à cela, nous proposons un cadre Multi-Agent intégrant une guidance Socratique (MARS), qui utilise une technologie de fusion multi-agent pour la planification automatique, avec une optimisation et une évaluation continues et progressives. Concrètement, MARS comprend sept agents, chacun ayant des fonctionnalités distinctes, qui utilisent de manière autonome le Planificateur pour concevoir un chemin d'optimisation garantissant la flexibilité. De plus, il emploie un modèle de dialogue Socratique Enseignant-Critique-Élève pour optimiser itérativement les invites tout en effectuant une recherche efficace. Nous menons des expériences approfondies sur divers ensembles de données pour valider l'efficacité de notre méthode, et réalisons des expériences analytiques supplémentaires pour évaluer les avancées du modèle ainsi que son interprétabilité.

English

The basic question-answering format of large language models involves inputting a prompt and receiving a response, and the quality of the prompt directly impacts the effectiveness of the response. Automated Prompt Optimization (APO) aims to break free from the cognitive biases of manually designed prompts and explores a broader design space for prompts. However, existing APO methods suffer from limited flexibility of fixed templates and inefficient search in prompt spaces as key issues. To this end, we propose a Multi-Agent framework Incorporating Socratic guidance (MARS), which utilizes multi-agent fusion technology for automatic planning, with gradual continuous optimization and evaluation. Specifically, MARS comprises seven agents, each with distinct functionalities, which autonomously use the Planner to devise an optimization path that ensures flexibility. Additionally, it employs a Teacher-Critic-Student Socratic dialogue pattern to iteratively optimize the prompts while conducting effective search. We conduct extensive experiments on various datasets to validate the effectiveness of our method, and perform additional analytical experiments to assess the model's advancement as well as the interpretability.