Ménestrel : Génération de Suggestions Structurelles avec Coordination Multi-Agents pour les Non-Experts en IA

Minstrel: Structural Prompt Generation with Multi-Agents Coordination for Non-AI Experts

September 20, 2024

Auteurs: Ming Wang, Yuanzhong Liu, Xiaoyu Liang, Yijie Huang, Daling Wang, Xiaocui Yang, Sijia Shen, Shi Feng, Xiaoming Zhang, Chaofeng Guan, Yifei Zhang

cs.AI

Résumé

Les LLM ont démontré des performances louables dans divers domaines. Cependant, la formulation de prompts de haute qualité pour les assister dans leur travail représente un défi pour les non-experts en IA. Les recherches existantes en ingénierie des prompts suggèrent des principes d'optimisation quelque peu dispersés et des optimiseurs de prompts empiriquement dépendants. Malheureusement, ces efforts manquent d'une conception structurée, entraînant des coûts d'apprentissage élevés et ne favorisant pas la mise à jour itérative des prompts, en particulier pour les non-experts en IA. Inspirés par les langages de programmation structurés et réutilisables, nous proposons LangGPT, un cadre de conception de prompts structurés. De plus, nous présentons Minstrel, un système d'agents multi-génératifs avec réflexion pour automatiser la génération de prompts structurés. Des expériences et une étude de cas illustrent que les prompts structurés générés par Minstrel ou rédigés manuellement améliorent significativement les performances des LLM. De plus, nous analysons la facilité d'utilisation des prompts structurés à travers une enquête auprès des utilisateurs de notre communauté en ligne.

English

LLMs have demonstrated commendable performance across diverse domains. Nevertheless, formulating high-quality prompts to assist them in their work poses a challenge for non-AI experts. Existing research in prompt engineering suggests somewhat scattered optimization principles and designs empirically dependent prompt optimizers. Unfortunately, these endeavors lack a structural design, incurring high learning costs and it is not conducive to the iterative updating of prompts, especially for non-AI experts. Inspired by structured reusable programming languages, we propose LangGPT, a structural prompt design framework. Furthermore, we introduce Minstrel, a multi-generative agent system with reflection to automate the generation of structural prompts. Experiments and the case study illustrate that structural prompts generated by Minstrel or written manually significantly enhance the performance of LLMs. Furthermore, we analyze the ease of use of structural prompts through a user survey in our online community.