Принципиальные инструкции — это всё, что вам нужно для работы с LLaMA-1/2 и GPT-3.5/4.

Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4

December 26, 2023

Авторы: Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen

cs.AI

Аннотация

В данной статье представлены 26 руководящих принципов, разработанных для упрощения процесса формулирования запросов и подсказок для крупных языковых моделей. Наша цель заключается в том, чтобы сделать более понятными базовые концепции составления вопросов для языковых моделей различного масштаба, исследовать их возможности и улучшить понимание пользователями поведения моделей разного масштаба при обработке различных подсказок. Проведены обширные эксперименты на моделях LLaMA-1/2 (7B, 13B и 70B) и GPT-3.5/4 для проверки эффективности предложенных принципов в проектировании инструкций и подсказок. Мы надеемся, что эта работа станет полезным руководством для исследователей, занимающихся разработкой подсказок для крупных языковых моделей. Страница проекта доступна по адресу https://github.com/VILA-Lab/ATLAS.

English

This paper introduces 26 guiding principles designed to streamline the process of querying and prompting large language models. Our goal is to simplify the underlying concepts of formulating questions for various scales of large language models, examining their abilities, and enhancing user comprehension on the behaviors of different scales of large language models when feeding into different prompts. Extensive experiments are conducted on LLaMA-1/2 (7B, 13B and 70B), GPT-3.5/4 to verify the effectiveness of the proposed principles on instructions and prompts design. We hope that this work provides a better guide for researchers working on the prompting of large language models. Project page is available at https://github.com/VILA-Lab/ATLAS.