DPE: Daten-effizientes Plug-and-Play Prompt-Erweiterungssystem

PAS: Data-Efficient Plug-and-Play Prompt Augmentation System

July 8, 2024

Autoren: Miao Zheng, Hao Liang, Fan Yang, Haoze Sun, Tianpeng Li, Lingchu Xiong, Yan Zhang, Yozhen Wu, Kun Li, Yanjun Sheng, Mingan Lin, Tao Zhang, Guosheng Dong, Yujing Qiao, Kun Fang, Weipeng Chen, Bin Cui, Wentao Zhang, Zenan Zhou

cs.AI

Zusammenfassung

In den letzten Jahren hat der Aufstieg von Large Language Models (LLMs) eine wachsende Nachfrage nach Plug-and-Play KI-Systemen ausgelöst. Unter den verschiedenen KI-Techniken sticht die Prompt-Entwicklung als besonders bedeutend hervor. Benutzer stehen jedoch oft vor Herausforderungen beim Verfassen von Prompts aufgrund der steilen Lernkurve und des erheblichen Zeitaufwands, und bestehende automatische Prompt-Entwicklungsmodelle (APE) können schwer zu verwenden sein. Um dieses Problem zu lösen, schlagen wir PAS vor, ein LLM-basiertes Plug-and-Play APE-System. PAS nutzt LLMs, die auf hochwertigen, automatisch generierten prompt-komplementären Datensätzen trainiert sind, was zu außergewöhnlicher Leistung führt. In umfassenden Benchmarks erzielt PAS im Vergleich zu früheren APE-Modellen Ergebnisse auf dem Stand der Technik (SoTA) mit einer durchschnittlichen Verbesserung von 6,09 Punkten. Darüber hinaus ist PAS äußerst effizient und erreicht SoTA-Leistung mit nur 9000 Datenpunkten. Darüber hinaus kann PAS eigenständig Prompt-Augmentierungsdaten generieren, ohne zusätzliche menschliche Arbeitskräfte zu benötigen. Seine Flexibilität ermöglicht es zudem, mit allen bestehenden LLMs kompatibel zu sein und auf eine Vielzahl von Aufgaben anwendbar zu sein. PAS zeichnet sich in menschlichen Bewertungen aus und unterstreicht damit seine Eignung als Plug-In für Benutzer. Diese Kombination aus hoher Leistung, Effizienz und Flexibilität macht PAS zu einem wertvollen System zur Verbesserung der Benutzerfreundlichkeit und Effektivität von LLMs durch verbesserte Prompt-Entwicklung.

English

In recent years, the rise of Large Language Models (LLMs) has spurred a growing demand for plug-and-play AI systems. Among the various AI techniques, prompt engineering stands out as particularly significant. However, users often face challenges in writing prompts due to the steep learning curve and significant time investment, and existing automatic prompt engineering (APE) models can be difficult to use. To address this issue, we propose PAS, an LLM-based plug-and-play APE system. PAS utilizes LLMs trained on high-quality, automatically generated prompt complementary datasets, resulting in exceptional performance. In comprehensive benchmarks, PAS achieves state-of-the-art (SoTA) results compared to previous APE models, with an average improvement of 6.09 points. Moreover, PAS is highly efficient, achieving SoTA performance with only 9000 data points. Additionally, PAS can autonomously generate prompt augmentation data without requiring additional human labor. Its flexibility also allows it to be compatible with all existing LLMs and applicable to a wide range of tasks. PAS excels in human evaluations, underscoring its suitability as a plug-in for users. This combination of high performance, efficiency, and flexibility makes PAS a valuable system for enhancing the usability and effectiveness of LLMs through improved prompt engineering.