LLaMA за пределами английского: Эмпирическое исследование передачи языковых возможностей

LLaMA Beyond English: An Empirical Study on Language Capability Transfer

January 2, 2024

Авторы: Jun Zhao, Zhihao Zhang, Qi Zhang, Tao Gui, Xuanjing Huang

cs.AI

Аннотация

В последнее время были достигнуты значительные успехи в области больших языковых моделей (LLM), примером чего является ChatGPT, демонстрирующий впечатляющую эффективность в решении широкого спектра сложных задач. Однако многие популярные LLM (например, LLaMA) предварительно обучаются на корпусах с преобладанием английского языка, что ограничивает их производительность в других языках. В данной статье мы сосредоточиваемся на том, как эффективно перенести способности генерации текста и выполнения инструкций на неанглийский язык. Чтобы ответить на этот вопрос, мы проводим масштабное эмпирическое исследование на основе LLaMA, накопленное за более чем 1440 GPU-часов. Мы анализируем влияние ключевых факторов, таких как расширение словаря, дополнительное предварительное обучение и настройка на выполнение инструкций, на процесс переноса. Для точной оценки уровня знаний модели мы используем четыре широко применяемых стандартизированных тестовых набора: C-Eval, MMLU, AGI-Eval и GAOKAO-Bench. Кроме того, проводится всесторонняя оценка качества ответов модели с учетом таких аспектов, как точность, беглость, информативность, логическая связность и безопасность, на основе LLM-Eval — набора тестов, состоящего из задач с инструкциями из 17 различных категорий. Наши результаты оценки показывают, что сопоставимая с современными моделями переноса производительность может быть достигнута с использованием менее 1% данных для предварительного обучения, как с точки зрения соответствия знаний, так и качества ответов. Более того, экспериментальные результаты для тринадцати языков с ограниченными ресурсами также демонстрируют схожие тенденции. Мы ожидаем, что выводы, полученные в ходе экспериментов, помогут сообществу в разработке неанглийских LLM.

English

In recent times, substantial advancements have been witnessed in large language models (LLMs), exemplified by ChatGPT, showcasing remarkable proficiency across a range of complex tasks. However, many mainstream LLMs (e.g. LLaMA) are pretrained on English-dominant corpus, which limits their performance in other non-English languages. In this paper, we focus on how to effectively transfer the capabilities of language generation and following instructions to a non-English language. To answer this question, we conduct an extensive empirical investigation based on LLaMA, accumulating over 1440 GPU hours. We analyze the impact of key factors such as vocabulary extension, further pretraining, and instruction tuning on transfer. To accurately assess the model's level of knowledge, we employ four widely used standardized testing benchmarks: C-Eval, MMLU, AGI-Eval, and GAOKAO-Bench. Furthermore, a comprehensive evaluation of the model's response quality is conducted, considering aspects such as accuracy, fluency, informativeness, logical coherence, and harmlessness, based on LLM-Eval, a benchmarks consisting instruction tasks from 17 diverse categories. Our evaluation results demonstrate that comparable performance to state-of-the-art transfer models can be achieved with less than 1% of the pretraining data, both in terms of knowledge alignment and response quality. Furthermore, the experimental outcomes across the thirteen low-resource languages also exhibit similar trends. We anticipate that the conclusions revealed by the experiments will aid the community in developing non-English LLMs.