PAS: Sistema de Aumento de Prompt Plug-and-Play Eficiente em Dados

PAS: Data-Efficient Plug-and-Play Prompt Augmentation System

July 8, 2024

Autores: Miao Zheng, Hao Liang, Fan Yang, Haoze Sun, Tianpeng Li, Lingchu Xiong, Yan Zhang, Yozhen Wu, Kun Li, Yanjun Sheng, Mingan Lin, Tao Zhang, Guosheng Dong, Yujing Qiao, Kun Fang, Weipeng Chen, Bin Cui, Wentao Zhang, Zenan Zhou

cs.AI

Resumo

Nos últimos anos, o surgimento de Modelos de Linguagem Grandes (LLMs) tem impulsionado uma crescente demanda por sistemas de IA plug-and-play. Entre as várias técnicas de IA, a engenharia de prompts se destaca como particularmente significativa. No entanto, os usuários frequentemente enfrentam desafios ao escrever prompts devido à curva de aprendizado acentuada e ao significativo investimento de tempo, e os modelos existentes de engenharia automática de prompts (APE) podem ser difíceis de usar. Para abordar essa questão, propomos PAS, um sistema de APE plug-and-play baseado em LLM. PAS utiliza LLMs treinados em conjuntos de dados complementares de prompts de alta qualidade, gerados automaticamente, resultando em desempenho excepcional. Em benchmarks abrangentes, PAS alcança resultados de estado-da-arte (SoTA) em comparação com modelos anteriores de APE, com uma melhoria média de 6,09 pontos. Além disso, PAS é altamente eficiente, alcançando desempenho de SoTA com apenas 9000 pontos de dados. Adicionalmente, PAS pode gerar autonomamente dados de aumento de prompts sem exigir trabalho humano adicional. Sua flexibilidade também permite ser compatível com todos os LLMs existentes e aplicável a uma ampla gama de tarefas. PAS se destaca em avaliações humanas, destacando sua adequação como um plug-in para usuários. Essa combinação de alto desempenho, eficiência e flexibilidade torna PAS um sistema valioso para aprimorar a usabilidade e eficácia de LLMs por meio de uma engenharia de prompts aprimorada.

English

In recent years, the rise of Large Language Models (LLMs) has spurred a growing demand for plug-and-play AI systems. Among the various AI techniques, prompt engineering stands out as particularly significant. However, users often face challenges in writing prompts due to the steep learning curve and significant time investment, and existing automatic prompt engineering (APE) models can be difficult to use. To address this issue, we propose PAS, an LLM-based plug-and-play APE system. PAS utilizes LLMs trained on high-quality, automatically generated prompt complementary datasets, resulting in exceptional performance. In comprehensive benchmarks, PAS achieves state-of-the-art (SoTA) results compared to previous APE models, with an average improvement of 6.09 points. Moreover, PAS is highly efficient, achieving SoTA performance with only 9000 data points. Additionally, PAS can autonomously generate prompt augmentation data without requiring additional human labor. Its flexibility also allows it to be compatible with all existing LLMs and applicable to a wide range of tasks. PAS excels in human evaluations, underscoring its suitability as a plug-in for users. This combination of high performance, efficiency, and flexibility makes PAS a valuable system for enhancing the usability and effectiveness of LLMs through improved prompt engineering.