MARS: Многоагентная структура с использованием сократовского подхода для автоматической оптимизации промптов

MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization

March 21, 2025

Авторы: Jian Zhang, Zhangqi Wang, Haiping Zhu, Jun Liu, Qika Lin, Erik Cambria

cs.AI

Аннотация

Базовый формат вопрос-ответ в больших языковых моделях предполагает ввод промта и получение ответа, при этом качество промта напрямую влияет на эффективность ответа. Автоматическая оптимизация промтов (Automated Prompt Optimization, APO) стремится освободиться от когнитивных искажений, присущих ручному проектированию промтов, и исследует более широкое пространство их дизайна. Однако существующие методы APO сталкиваются с ограниченной гибкостью фиксированных шаблонов и неэффективным поиском в пространстве промтов как ключевыми проблемами. В связи с этим мы предлагаем фреймворк Multi-Agent framework Incorporating Socratic guidance (MARS), который использует технологию мультиагентного слияния для автоматического планирования с постепенной непрерывной оптимизацией и оценкой. В частности, MARS состоит из семи агентов, каждый из которых выполняет уникальные функции и автономно использует Planner для разработки гибкого пути оптимизации. Кроме того, он применяет диалоговую модель "Учитель-Критик-Ученик" в духе Сократа для итеративной оптимизации промтов и эффективного поиска. Мы проводим обширные эксперименты на различных наборах данных для проверки эффективности нашего метода, а также выполняем дополнительные аналитические эксперименты для оценки прогресса модели и её интерпретируемости.

English

The basic question-answering format of large language models involves inputting a prompt and receiving a response, and the quality of the prompt directly impacts the effectiveness of the response. Automated Prompt Optimization (APO) aims to break free from the cognitive biases of manually designed prompts and explores a broader design space for prompts. However, existing APO methods suffer from limited flexibility of fixed templates and inefficient search in prompt spaces as key issues. To this end, we propose a Multi-Agent framework Incorporating Socratic guidance (MARS), which utilizes multi-agent fusion technology for automatic planning, with gradual continuous optimization and evaluation. Specifically, MARS comprises seven agents, each with distinct functionalities, which autonomously use the Planner to devise an optimization path that ensures flexibility. Additionally, it employs a Teacher-Critic-Student Socratic dialogue pattern to iteratively optimize the prompts while conducting effective search. We conduct extensive experiments on various datasets to validate the effectiveness of our method, and perform additional analytical experiments to assess the model's advancement as well as the interpretability.