MARS: Un Framework Multi-Agente che Incorpora la Guida Socratica per l'Ottimizzazione Automatica dei Prompt

MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization

March 21, 2025

Autori: Jian Zhang, Zhangqi Wang, Haiping Zhu, Jun Liu, Qika Lin, Erik Cambria

cs.AI

Abstract

Il formato di base per il question-answering dei grandi modelli linguistici prevede l'inserimento di un prompt e la ricezione di una risposta, e la qualità del prompt influisce direttamente sull'efficacia della risposta. L'Ottimizzazione Automatica dei Prompt (Automated Prompt Optimization, APO) mira a liberarsi dai bias cognitivi dei prompt progettati manualmente e a esplorare uno spazio di progettazione più ampio per i prompt. Tuttavia, i metodi APO esistenti soffrono di una limitata flessibilità dovuta a modelli fissi e di una ricerca inefficiente negli spazi dei prompt come problemi chiave. A tal fine, proponiamo un framework Multi-Agent che incorpora una guida socratica (MARS), che utilizza la tecnologia di fusione multi-agente per la pianificazione automatica, con un'ottimizzazione e una valutazione graduali e continue. Nello specifico, MARS comprende sette agenti, ciascuno con funzionalità distinte, che utilizzano autonomamente il Planner per ideare un percorso di ottimizzazione che garantisca flessibilità. Inoltre, impiega un modello di dialogo socratico Insegnante-Critico-Studente per ottimizzare iterativamente i prompt mentre conduce una ricerca efficace. Eseguiamo esperimenti estesi su vari dataset per validare l'efficacia del nostro metodo e conduciamo ulteriori esperimenti analitici per valutare il progresso del modello nonché la sua interpretabilità.

English

The basic question-answering format of large language models involves inputting a prompt and receiving a response, and the quality of the prompt directly impacts the effectiveness of the response. Automated Prompt Optimization (APO) aims to break free from the cognitive biases of manually designed prompts and explores a broader design space for prompts. However, existing APO methods suffer from limited flexibility of fixed templates and inefficient search in prompt spaces as key issues. To this end, we propose a Multi-Agent framework Incorporating Socratic guidance (MARS), which utilizes multi-agent fusion technology for automatic planning, with gradual continuous optimization and evaluation. Specifically, MARS comprises seven agents, each with distinct functionalities, which autonomously use the Planner to devise an optimization path that ensures flexibility. Additionally, it employs a Teacher-Critic-Student Socratic dialogue pattern to iteratively optimize the prompts while conducting effective search. We conduct extensive experiments on various datasets to validate the effectiveness of our method, and perform additional analytical experiments to assess the model's advancement as well as the interpretability.