Instrucciones fundamentales son todo lo que necesitas para interrogar a LLaMA-1/2, GPT-3.5/4.

Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4

December 26, 2023

Autores: Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen

cs.AI

Resumen

Este artículo presenta 26 principios guía diseñados para optimizar el proceso de consulta y generación de instrucciones para modelos de lenguaje a gran escala. Nuestro objetivo es simplificar los conceptos fundamentales relacionados con la formulación de preguntas para diferentes escalas de modelos de lenguaje, examinar sus capacidades y mejorar la comprensión de los usuarios sobre el comportamiento de estos modelos al recibir diferentes instrucciones. Se llevaron a cabo experimentos exhaustivos en LLaMA-1/2 (7B, 13B y 70B) y GPT-3.5/4 para verificar la efectividad de los principios propuestos en el diseño de instrucciones y prompts. Esperamos que este trabajo sirva como una guía útil para los investigadores que trabajan en la generación de instrucciones para modelos de lenguaje a gran escala. La página del proyecto está disponible en https://github.com/VILA-Lab/ATLAS.

English

This paper introduces 26 guiding principles designed to streamline the process of querying and prompting large language models. Our goal is to simplify the underlying concepts of formulating questions for various scales of large language models, examining their abilities, and enhancing user comprehension on the behaviors of different scales of large language models when feeding into different prompts. Extensive experiments are conducted on LLaMA-1/2 (7B, 13B and 70B), GPT-3.5/4 to verify the effectiveness of the proposed principles on instructions and prompts design. We hope that this work provides a better guide for researchers working on the prompting of large language models. Project page is available at https://github.com/VILA-Lab/ATLAS.