Uma Pesquisa sobre Modelos de Linguagem Pequenos

A Survey of Small Language Models

October 25, 2024

Autores: Chien Van Nguyen, Xuan Shen, Ryan Aponte, Yu Xia, Samyadeep Basu, Zhengmian Hu, Jian Chen, Mihir Parmar, Sasidhar Kunapuli, Joe Barrow, Junda Wu, Ashish Singh, Yu Wang, Jiuxiang Gu, Franck Dernoncourt, Nesreen K. Ahmed, Nedim Lipka, Ruiyi Zhang, Xiang Chen, Tong Yu, Sungchul Kim, Hanieh Deilamsalehy, Namyong Park, Mike Rimer, Zhehao Zhang, Huanrui Yang, Ryan A. Rossi, Thien Huu Nguyen

cs.AI

Resumo

Os Modelos de Linguagem Pequenos (SLMs) tornaram-se cada vez mais importantes devido à sua eficiência e desempenho na realização de várias tarefas linguísticas com recursos computacionais mínimos, tornando-os ideais para diversos contextos, incluindo dispositivos móveis, dispositivos de borda, entre outros. Neste artigo, apresentamos uma pesquisa abrangente sobre SLMs, focando em suas arquiteturas, técnicas de treinamento e técnicas de compressão de modelo. Propomos uma nova taxonomia para categorizar os métodos usados para otimizar SLMs, incluindo compressão de modelo, poda e técnicas de quantização. Resumimos os conjuntos de dados de referência que são úteis para a avaliação de SLMs juntamente com as métricas de avaliação comumente utilizadas. Além disso, destacamos os principais desafios em aberto que ainda precisam ser abordados. Nossa pesquisa tem como objetivo servir como um recurso valioso para pesquisadores e profissionais interessados em desenvolver e implementar modelos de linguagem pequenos, porém eficientes.

English

Small Language Models (SLMs) have become increasingly important due to their efficiency and performance to perform various language tasks with minimal computational resources, making them ideal for various settings including on-device, mobile, edge devices, among many others. In this article, we present a comprehensive survey on SLMs, focusing on their architectures, training techniques, and model compression techniques. We propose a novel taxonomy for categorizing the methods used to optimize SLMs, including model compression, pruning, and quantization techniques. We summarize the benchmark datasets that are useful for benchmarking SLMs along with the evaluation metrics commonly used. Additionally, we highlight key open challenges that remain to be addressed. Our survey aims to serve as a valuable resource for researchers and practitioners interested in developing and deploying small yet efficient language models.