Обзор небольших языковых моделей

A Survey of Small Language Models

October 25, 2024

Авторы: Chien Van Nguyen, Xuan Shen, Ryan Aponte, Yu Xia, Samyadeep Basu, Zhengmian Hu, Jian Chen, Mihir Parmar, Sasidhar Kunapuli, Joe Barrow, Junda Wu, Ashish Singh, Yu Wang, Jiuxiang Gu, Franck Dernoncourt, Nesreen K. Ahmed, Nedim Lipka, Ruiyi Zhang, Xiang Chen, Tong Yu, Sungchul Kim, Hanieh Deilamsalehy, Namyong Park, Mike Rimer, Zhehao Zhang, Huanrui Yang, Ryan A. Rossi, Thien Huu Nguyen

cs.AI

Аннотация

Малые языковые модели (Small Language Models, SLM) становятся все более важными благодаря их эффективности и производительности при выполнении различных языковых задач с минимальными вычислительными ресурсами, что делает их идеальными для различных сценариев, включая использование на устройствах, мобильных устройствах, краевых устройствах и многих других. В данной статье мы представляем обширный обзор SLM, сосредотачиваясь на их архитектурах, методах обучения и методах сжатия моделей. Мы предлагаем новую таксономию для классификации методов, используемых для оптимизации SLM, включая методы сжатия моделей, обрезки и квантизации. Мы подводим итоги наборов данных для сравнения SLM, а также наиболее часто используемых метрик оценки. Кроме того, мы выделяем ключевые открытые проблемы, которые предстоит решить. Наш обзор направлен на то, чтобы стать ценным ресурсом для исследователей и практиков, заинтересованных в разработке и внедрении небольших, но эффективных языковых моделей.

English

Small Language Models (SLMs) have become increasingly important due to their efficiency and performance to perform various language tasks with minimal computational resources, making them ideal for various settings including on-device, mobile, edge devices, among many others. In this article, we present a comprehensive survey on SLMs, focusing on their architectures, training techniques, and model compression techniques. We propose a novel taxonomy for categorizing the methods used to optimize SLMs, including model compression, pruning, and quantization techniques. We summarize the benchmark datasets that are useful for benchmarking SLMs along with the evaluation metrics commonly used. Additionally, we highlight key open challenges that remain to be addressed. Our survey aims to serve as a valuable resource for researchers and practitioners interested in developing and deploying small yet efficient language models.