PAS: Sistema de Ampliación de Indicaciones Plug-and-Play Eficiente en Datos

PAS: Data-Efficient Plug-and-Play Prompt Augmentation System

July 8, 2024

Autores: Miao Zheng, Hao Liang, Fan Yang, Haoze Sun, Tianpeng Li, Lingchu Xiong, Yan Zhang, Yozhen Wu, Kun Li, Yanjun Sheng, Mingan Lin, Tao Zhang, Guosheng Dong, Yujing Qiao, Kun Fang, Weipeng Chen, Bin Cui, Wentao Zhang, Zenan Zhou

cs.AI

Resumen

En los últimos años, el auge de los Modelos de Lenguaje Grandes (LLMs) ha impulsado una creciente demanda de sistemas de inteligencia artificial plug-and-play. Entre las diversas técnicas de IA, el diseño de indicaciones destaca como particularmente significativo. Sin embargo, los usuarios a menudo enfrentan desafíos al redactar indicaciones debido a la pronunciada curva de aprendizaje y la considerable inversión de tiempo, y los modelos existentes de diseño automático de indicaciones (APE) pueden ser difíciles de usar. Para abordar este problema, proponemos PAS, un sistema de diseño automático de indicaciones plug-and-play basado en LLM. PAS utiliza LLMs entrenados en conjuntos de datos complementarios de indicaciones de alta calidad generados automáticamente, lo que resulta en un rendimiento excepcional. En evaluaciones exhaustivas, PAS logra resultados de vanguardia en comparación con modelos anteriores de APE, con una mejora promedio de 6.09 puntos. Además, PAS es altamente eficiente, logrando un rendimiento de vanguardia con solo 9000 puntos de datos. Además, PAS puede generar datos de aumento de indicaciones de forma autónoma sin requerir trabajo humano adicional. Su flexibilidad también le permite ser compatible con todos los LLMs existentes y aplicable a una amplia gama de tareas. PAS destaca en evaluaciones humanas, subrayando su idoneidad como complemento para los usuarios. Esta combinación de alto rendimiento, eficiencia y flexibilidad hace de PAS un sistema valioso para mejorar la usabilidad y efectividad de los LLM a través de un diseño de indicaciones mejorado.

English

In recent years, the rise of Large Language Models (LLMs) has spurred a growing demand for plug-and-play AI systems. Among the various AI techniques, prompt engineering stands out as particularly significant. However, users often face challenges in writing prompts due to the steep learning curve and significant time investment, and existing automatic prompt engineering (APE) models can be difficult to use. To address this issue, we propose PAS, an LLM-based plug-and-play APE system. PAS utilizes LLMs trained on high-quality, automatically generated prompt complementary datasets, resulting in exceptional performance. In comprehensive benchmarks, PAS achieves state-of-the-art (SoTA) results compared to previous APE models, with an average improvement of 6.09 points. Moreover, PAS is highly efficient, achieving SoTA performance with only 9000 data points. Additionally, PAS can autonomously generate prompt augmentation data without requiring additional human labor. Its flexibility also allows it to be compatible with all existing LLMs and applicable to a wide range of tasks. PAS excels in human evaluations, underscoring its suitability as a plug-in for users. This combination of high performance, efficiency, and flexibility makes PAS a valuable system for enhancing the usability and effectiveness of LLMs through improved prompt engineering.