Menestrello: Generazione di Prompt Strutturali con Coordinamento Multi-Agente per Non Esperti di Intelligenza Artificiale

Minstrel: Structural Prompt Generation with Multi-Agents Coordination for Non-AI Experts

September 20, 2024

Autori: Ming Wang, Yuanzhong Liu, Xiaoyu Liang, Yijie Huang, Daling Wang, Xiaocui Yang, Sijia Shen, Shi Feng, Xiaoming Zhang, Chaofeng Guan, Yifei Zhang

cs.AI

Abstract

Gli LLM hanno dimostrato prestazioni lodevoli in diversi ambiti. Tuttavia, formulare prompt di alta qualità per aiutarli nel loro lavoro rappresenta una sfida per i non esperti di AI. La ricerca esistente sull'ingegneria dei prompt suggerisce principi di ottimizzazione e progettazioni un po' disperse, con ottimizzatori di prompt dipendenti empiricamente. Purtroppo, questi sforzi mancano di una progettazione strutturale, comportando costi di apprendimento elevati e non favorendo l'aggiornamento iterativo dei prompt, specialmente per i non esperti di AI. Ispirati dai linguaggi di programmazione strutturati e riutilizzabili, proponiamo LangGPT, un framework di progettazione strutturale dei prompt. Inoltre, introduciamo Minstrel, un sistema multi-generativo con riflessione per automatizzare la generazione di prompt strutturali. Gli esperimenti e lo studio di caso illustrano che i prompt strutturali generati da Minstrel o scritti manualmente migliorano significativamente le prestazioni degli LLM. Inoltre, analizziamo la facilità d'uso dei prompt strutturali attraverso un sondaggio tra gli utenti nella nostra comunità online.

English

LLMs have demonstrated commendable performance across diverse domains. Nevertheless, formulating high-quality prompts to assist them in their work poses a challenge for non-AI experts. Existing research in prompt engineering suggests somewhat scattered optimization principles and designs empirically dependent prompt optimizers. Unfortunately, these endeavors lack a structural design, incurring high learning costs and it is not conducive to the iterative updating of prompts, especially for non-AI experts. Inspired by structured reusable programming languages, we propose LangGPT, a structural prompt design framework. Furthermore, we introduce Minstrel, a multi-generative agent system with reflection to automate the generation of structural prompts. Experiments and the case study illustrate that structural prompts generated by Minstrel or written manually significantly enhance the performance of LLMs. Furthermore, we analyze the ease of use of structural prompts through a user survey in our online community.