Минстрель: Генерация структурных подсказок с координацией мультиагентов для специалистов не по искусственному интеллекту

Minstrel: Structural Prompt Generation with Multi-Agents Coordination for Non-AI Experts

September 20, 2024

Авторы: Ming Wang, Yuanzhong Liu, Xiaoyu Liang, Yijie Huang, Daling Wang, Xiaocui Yang, Sijia Shen, Shi Feng, Xiaoming Zhang, Chaofeng Guan, Yifei Zhang

cs.AI

Аннотация

LLM показали впечатляющую производительность в различных областях. Тем не менее, создание высококачественных подсказок для помощи им в работе представляет собой вызов для специалистов не из области искусственного интеллекта. Существующие исследования в области создания подсказок предлагают несколько разрозненных принципов оптимизации и эмпирически зависимые оптимизаторы подсказок. К сожалению, эти усилия лишены структурного дизайна, что приводит к высоким затратам на обучение и не способствует итеративному обновлению подсказок, особенно для специалистов не из области искусственного интеллекта. Вдохновленные структурированными многоразовыми языками программирования, мы предлагаем LangGPT, структурную концепцию дизайна подсказок. Кроме того, мы представляем Minstrel, мультигенеративную агентскую систему с отражением для автоматизации генерации структурных подсказок. Эксперименты и кейс-стади показывают, что структурные подсказки, созданные Minstrel или написанные вручную, значительно улучшают производительность LLM. Кроме того, мы анализируем удобство использования структурных подсказок с помощью опроса пользователей в нашем онлайн-сообществе.

English

LLMs have demonstrated commendable performance across diverse domains. Nevertheless, formulating high-quality prompts to assist them in their work poses a challenge for non-AI experts. Existing research in prompt engineering suggests somewhat scattered optimization principles and designs empirically dependent prompt optimizers. Unfortunately, these endeavors lack a structural design, incurring high learning costs and it is not conducive to the iterative updating of prompts, especially for non-AI experts. Inspired by structured reusable programming languages, we propose LangGPT, a structural prompt design framework. Furthermore, we introduce Minstrel, a multi-generative agent system with reflection to automate the generation of structural prompts. Experiments and the case study illustrate that structural prompts generated by Minstrel or written manually significantly enhance the performance of LLMs. Furthermore, we analyze the ease of use of structural prompts through a user survey in our online community.