MARS: Um Framework Multiagente Incorporando Orientação Socrática para Otimização Automatizada de Prompts

MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization

March 21, 2025

Autores: Jian Zhang, Zhangqi Wang, Haiping Zhu, Jun Liu, Qika Lin, Erik Cambria

cs.AI

Resumo

O formato básico de perguntas e respostas dos grandes modelos de linguagem envolve a inserção de um prompt e a recepção de uma resposta, sendo que a qualidade do prompt impacta diretamente a eficácia da resposta. A Otimização Automática de Prompts (APO, na sigla em inglês) visa libertar-se dos vieses cognitivos dos prompts projetados manualmente e explorar um espaço de design mais amplo para os prompts. No entanto, os métodos existentes de APO sofrem com a flexibilidade limitada de modelos fixos e com a busca ineficiente nos espaços de prompts como questões-chave. Para isso, propomos um framework Multi-Agente Incorporando Orientação Socrática (MARS, na sigla em inglês), que utiliza tecnologia de fusão multi-agente para planejamento automático, com otimização e avaliação contínuas e graduais. Especificamente, o MARS compreende sete agentes, cada um com funcionalidades distintas, que utilizam autonomamente o Planejador para elaborar um caminho de otimização que garante flexibilidade. Além disso, ele emprega um padrão de diálogo Socrático Professor-Crítico-Aluno para otimizar iterativamente os prompts enquanto realiza uma busca eficaz. Realizamos extensos experimentos em diversos conjuntos de dados para validar a eficácia do nosso método, além de realizar experimentos analíticos adicionais para avaliar o avanço do modelo, bem como sua interpretabilidade.

English

The basic question-answering format of large language models involves inputting a prompt and receiving a response, and the quality of the prompt directly impacts the effectiveness of the response. Automated Prompt Optimization (APO) aims to break free from the cognitive biases of manually designed prompts and explores a broader design space for prompts. However, existing APO methods suffer from limited flexibility of fixed templates and inefficient search in prompt spaces as key issues. To this end, we propose a Multi-Agent framework Incorporating Socratic guidance (MARS), which utilizes multi-agent fusion technology for automatic planning, with gradual continuous optimization and evaluation. Specifically, MARS comprises seven agents, each with distinct functionalities, which autonomously use the Planner to devise an optimization path that ensures flexibility. Additionally, it employs a Teacher-Critic-Student Socratic dialogue pattern to iteratively optimize the prompts while conducting effective search. We conduct extensive experiments on various datasets to validate the effectiveness of our method, and perform additional analytical experiments to assess the model's advancement as well as the interpretability.