Geprincipeerde instructies zijn alles wat je nodig hebt voor het bevragen van LLaMA-1/2, GPT-3.5/4.

Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4

December 26, 2023

Auteurs: Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen

cs.AI

Samenvatting

Dit artikel introduceert 26 richtlijnen die zijn ontworpen om het proces van het bevragen en aansturen van grote taalmodellen te stroomlijnen. Ons doel is om de onderliggende concepten van het formuleren van vragen voor verschillende schalen van grote taalmodellen te vereenvoudigen, hun mogelijkheden te onderzoeken en het gebruikersbegrip te vergroten van het gedrag van verschillende schalen van grote taalmodellen bij het verwerken van verschillende prompts. Uitgebreide experimenten zijn uitgevoerd op LLaMA-1/2 (7B, 13B en 70B), GPT-3.5/4 om de effectiviteit van de voorgestelde richtlijnen voor het ontwerpen van instructies en prompts te verifiëren. Wij hopen dat dit werk een betere leidraad biedt voor onderzoekers die werken aan het aansturen van grote taalmodellen. De projectpagina is beschikbaar op https://github.com/VILA-Lab/ATLAS.

English

This paper introduces 26 guiding principles designed to streamline the process of querying and prompting large language models. Our goal is to simplify the underlying concepts of formulating questions for various scales of large language models, examining their abilities, and enhancing user comprehension on the behaviors of different scales of large language models when feeding into different prompts. Extensive experiments are conducted on LLaMA-1/2 (7B, 13B and 70B), GPT-3.5/4 to verify the effectiveness of the proposed principles on instructions and prompts design. We hope that this work can provide a better guide for researchers working on the prompting of large language models. Project page is available at https://github.com/VILA-Lab/ATLAS.