MARS: Un Marco de Trabajo Multiagente que Incorpora Orientación Socrática para la Optimización Automatizada de Prompts

MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization

March 21, 2025

Autores: Jian Zhang, Zhangqi Wang, Haiping Zhu, Jun Liu, Qika Lin, Erik Cambria

cs.AI

Resumen

El formato básico de respuesta a preguntas en los modelos de lenguaje de gran escala implica introducir un prompt y recibir una respuesta, donde la calidad del prompt impacta directamente en la efectividad de la respuesta. La Optimización Automática de Prompts (APO, por sus siglas en inglés) busca liberarse de los sesgos cognitivos de los prompts diseñados manualmente y explorar un espacio de diseño más amplio para los prompts. Sin embargo, los métodos existentes de APO enfrentan problemas clave como la flexibilidad limitada de plantillas fijas y la búsqueda ineficiente en los espacios de prompts. Para abordar esto, proponemos un marco de Multi-Agente que Incorpora Guía Socrática (MARS), el cual utiliza tecnología de fusión multi-agente para la planificación automática, con optimización y evaluación continua y gradual. Específicamente, MARS consta de siete agentes, cada uno con funcionalidades distintas, que utilizan autónomamente el Planificador para diseñar una ruta de optimización que garantiza flexibilidad. Además, emplea un patrón de diálogo socrático Maestro-Crítico-Estudiante para optimizar iterativamente los prompts mientras realiza una búsqueda efectiva. Realizamos extensos experimentos en diversos conjuntos de datos para validar la efectividad de nuestro método, y llevamos a cabo experimentos analíticos adicionales para evaluar el avance del modelo, así como su interpretabilidad.

English

The basic question-answering format of large language models involves inputting a prompt and receiving a response, and the quality of the prompt directly impacts the effectiveness of the response. Automated Prompt Optimization (APO) aims to break free from the cognitive biases of manually designed prompts and explores a broader design space for prompts. However, existing APO methods suffer from limited flexibility of fixed templates and inefficient search in prompt spaces as key issues. To this end, we propose a Multi-Agent framework Incorporating Socratic guidance (MARS), which utilizes multi-agent fusion technology for automatic planning, with gradual continuous optimization and evaluation. Specifically, MARS comprises seven agents, each with distinct functionalities, which autonomously use the Planner to devise an optimization path that ensures flexibility. Additionally, it employs a Teacher-Critic-Student Socratic dialogue pattern to iteratively optimize the prompts while conducting effective search. We conduct extensive experiments on various datasets to validate the effectiveness of our method, and perform additional analytical experiments to assess the model's advancement as well as the interpretability.