小規模言語モデルの調査

A Survey of Small Language Models

October 25, 2024

著者: Chien Van Nguyen, Xuan Shen, Ryan Aponte, Yu Xia, Samyadeep Basu, Zhengmian Hu, Jian Chen, Mihir Parmar, Sasidhar Kunapuli, Joe Barrow, Junda Wu, Ashish Singh, Yu Wang, Jiuxiang Gu, Franck Dernoncourt, Nesreen K. Ahmed, Nedim Lipka, Ruiyi Zhang, Xiang Chen, Tong Yu, Sungchul Kim, Hanieh Deilamsalehy, Namyong Park, Mike Rimer, Zhehao Zhang, Huanrui Yang, Ryan A. Rossi, Thien Huu Nguyen

cs.AI

要旨

小規模言語モデル（SLMs）は、計算リソースを最小限に抑えながら様々な言語タスクを効率的かつ高性能に実行する能力から、デバイス内、モバイル、エッジデバイスなどの様々な環境で理想的とされ、ますます重要性を増しています。本論文では、SLMsに焦点を当て、そのアーキテクチャ、トレーニング技術、モデル圧縮技術について包括的な調査を行います。我々は、SLMsを最適化するために使用される手法を分類するための新しいタクソノミを提案し、モデル圧縮、プルーニング、量子化技術を含む方法を要約します。さらに、SLMsのベンチマークデータセットと、一般的に使用される評価メトリクスをまとめます。加えて、未解決の主要な課題を強調します。我々の調査は、小規模で効率的な言語モデルの開発と展開に興味を持つ研究者や実務家にとって有益なリソースとなることを目指しています。

English

Small Language Models (SLMs) have become increasingly important due to their efficiency and performance to perform various language tasks with minimal computational resources, making them ideal for various settings including on-device, mobile, edge devices, among many others. In this article, we present a comprehensive survey on SLMs, focusing on their architectures, training techniques, and model compression techniques. We propose a novel taxonomy for categorizing the methods used to optimize SLMs, including model compression, pruning, and quantization techniques. We summarize the benchmark datasets that are useful for benchmarking SLMs along with the evaluation metrics commonly used. Additionally, we highlight key open challenges that remain to be addressed. Our survey aims to serve as a valuable resource for researchers and practitioners interested in developing and deploying small yet efficient language models.