Menestrel: Geração de Prompt Estrutural com Coordenação Multi-Agentes para Não Especialistas em IA

Minstrel: Structural Prompt Generation with Multi-Agents Coordination for Non-AI Experts

September 20, 2024

Autores: Ming Wang, Yuanzhong Liu, Xiaoyu Liang, Yijie Huang, Daling Wang, Xiaocui Yang, Sijia Shen, Shi Feng, Xiaoming Zhang, Chaofeng Guan, Yifei Zhang

cs.AI

Resumo

LLMs têm demonstrado um desempenho louvável em diversos domínios. No entanto, formular prompts de alta qualidade para auxiliá-los em seu trabalho representa um desafio para não especialistas em IA. A pesquisa existente em engenharia de prompts sugere princípios de otimização um tanto dispersos e projetos de otimizadores de prompts empiricamente dependentes. Infelizmente, esses esforços carecem de um design estrutural, acarretando altos custos de aprendizado e não sendo propícios para a atualização iterativa de prompts, especialmente para não especialistas em IA. Inspirados em linguagens de programação estruturadas e reutilizáveis, propomos o LangGPT, um framework de design estrutural de prompts. Além disso, introduzimos o Minstrel, um sistema de agentes multi-gerativos com reflexão para automatizar a geração de prompts estruturais. Experimentos e o estudo de caso ilustram que prompts estruturais gerados pelo Minstrel ou escritos manualmente melhoram significativamente o desempenho de LLMs. Além disso, analisamos a facilidade de uso de prompts estruturais por meio de uma pesquisa com usuários em nossa comunidade online.

English

LLMs have demonstrated commendable performance across diverse domains. Nevertheless, formulating high-quality prompts to assist them in their work poses a challenge for non-AI experts. Existing research in prompt engineering suggests somewhat scattered optimization principles and designs empirically dependent prompt optimizers. Unfortunately, these endeavors lack a structural design, incurring high learning costs and it is not conducive to the iterative updating of prompts, especially for non-AI experts. Inspired by structured reusable programming languages, we propose LangGPT, a structural prompt design framework. Furthermore, we introduce Minstrel, a multi-generative agent system with reflection to automate the generation of structural prompts. Experiments and the case study illustrate that structural prompts generated by Minstrel or written manually significantly enhance the performance of LLMs. Furthermore, we analyze the ease of use of structural prompts through a user survey in our online community.