Minstrel: Generación de Pautas Estructurales con Coordinación de Múltiples Agentes para No Expertos en IA

Minstrel: Structural Prompt Generation with Multi-Agents Coordination for Non-AI Experts

September 20, 2024

Autores: Ming Wang, Yuanzhong Liu, Xiaoyu Liang, Yijie Huang, Daling Wang, Xiaocui Yang, Sijia Shen, Shi Feng, Xiaoming Zhang, Chaofeng Guan, Yifei Zhang

cs.AI

Resumen

Los LLMs han demostrado un rendimiento loable en diversos dominios. Sin embargo, formular indicaciones de alta calidad para ayudarles en su trabajo plantea un desafío para los no expertos en IA. La investigación existente en ingeniería de indicaciones sugiere principios de optimización algo dispersos y diseños de optimizadores de indicaciones empíricamente dependientes. Desafortunadamente, estos esfuerzos carecen de un diseño estructural, lo que conlleva altos costos de aprendizaje y no es propicio para la actualización iterativa de indicaciones, especialmente para los no expertos en IA. Inspirados en lenguajes de programación estructurados y reutilizables, proponemos LangGPT, un marco de diseño estructural de indicaciones. Además, presentamos Minstrel, un sistema de agentes multi-generativos con reflexión para automatizar la generación de indicaciones estructurales. Experimentos y el estudio de caso ilustran que las indicaciones estructurales generadas por Minstrel o escritas manualmente mejoran significativamente el rendimiento de los LLMs. Además, analizamos la facilidad de uso de las indicaciones estructurales a través de una encuesta a usuarios en nuestra comunidad en línea.

English

LLMs have demonstrated commendable performance across diverse domains. Nevertheless, formulating high-quality prompts to assist them in their work poses a challenge for non-AI experts. Existing research in prompt engineering suggests somewhat scattered optimization principles and designs empirically dependent prompt optimizers. Unfortunately, these endeavors lack a structural design, incurring high learning costs and it is not conducive to the iterative updating of prompts, especially for non-AI experts. Inspired by structured reusable programming languages, we propose LangGPT, a structural prompt design framework. Furthermore, we introduce Minstrel, a multi-generative agent system with reflection to automate the generation of structural prompts. Experiments and the case study illustrate that structural prompts generated by Minstrel or written manually significantly enhance the performance of LLMs. Furthermore, we analyze the ease of use of structural prompts through a user survey in our online community.