Minstreel: Structurele Promptgeneratie met Coördinatie van Multi-Agents voor Niet-AI Experts

Minstrel: Structural Prompt Generation with Multi-Agents Coordination for Non-AI Experts

September 20, 2024

Auteurs: Ming Wang, Yuanzhong Liu, Xiaoyu Liang, Yijie Huang, Daling Wang, Xiaocui Yang, Sijia Shen, Shi Feng, Xiaoming Zhang, Chaofeng Guan, Yifei Zhang

cs.AI

Samenvatting

LLM's hebben een bewonderenswaardige prestatie laten zien over diverse domeinen. Desalniettemin vormt het opstellen van hoogwaardige prompts om hen te helpen in hun werk een uitdaging voor niet-AI-experts. Bestaand onderzoek in prompt-engineering suggereert enigszins verspreide optimalisatieprincipes en ontwerpen die empirisch afhankelijk zijn van prompt-optimalisatoren. Helaas ontbreekt het bij deze inspanningen aan een structureel ontwerp, wat resulteert in hoge leerlasten en niet bevorderlijk is voor het iteratief bijwerken van prompts, vooral voor niet-AI-experts. Geïnspireerd door gestructureerde herbruikbare programmeertalen, stellen we LangGPT voor, een structureel promptontwerpframework. Bovendien introduceren we Minstrel, een multi-generatief agentsysteem met reflectie om de generatie van structurele prompts te automatiseren. Experimenten en de casestudy illustreren dat structurele prompts gegenereerd door Minstrel of handmatig geschreven aanzienlijk de prestaties van LLM's verbeteren. Verder analyseren we de gebruiksvriendelijkheid van structurele prompts via een gebruikersenquête in onze online gemeenschap.

English

LLMs have demonstrated commendable performance across diverse domains. Nevertheless, formulating high-quality prompts to assist them in their work poses a challenge for non-AI experts. Existing research in prompt engineering suggests somewhat scattered optimization principles and designs empirically dependent prompt optimizers. Unfortunately, these endeavors lack a structural design, incurring high learning costs and it is not conducive to the iterative updating of prompts, especially for non-AI experts. Inspired by structured reusable programming languages, we propose LangGPT, a structural prompt design framework. Furthermore, we introduce Minstrel, a multi-generative agent system with reflection to automate the generation of structural prompts. Experiments and the case study illustrate that structural prompts generated by Minstrel or written manually significantly enhance the performance of LLMs. Furthermore, we analyze the ease of use of structural prompts through a user survey in our online community.