FLM-101B : Un modèle de langage ouvert et comment l'entraîner avec un budget de 100 000 $

Résumé

Les grands modèles de langage (LLMs) ont obtenu un succès remarquable dans les tâches de traitement du langage naturel (NLP) et multimodales. Malgré ces succès, leur développement est confronté à deux défis majeurs : (i) le coût de calcul élevé ; et (ii) la difficulté à mener des évaluations équitables et objectives. Les LLMs sont extrêmement coûteux, ce qui rend leur entraînement réalisable uniquement pour quelques acteurs majeurs, limitant ainsi les opportunités de recherche et d'application. Cela souligne l'importance d'un entraînement des LLMs à moindre coût. Dans cet article, nous utilisons une stratégie de croissance pour réduire significativement le coût d'entraînement des LLMs. Nous démontrons qu'un LLM avec 101 milliards de paramètres et 0,31 téraoctets de tokens peut être entraîné avec un budget de 100 000 $. Nous adoptons également un paradigme d'évaluation systématique pour l'évaluation du QI des LLMs, en complément des évaluations existantes qui se concentrent davantage sur les capacités orientées vers la connaissance. Nous introduisons notre benchmark incluant des évaluations sur des aspects importants de l'intelligence, tels que la cartographie symbolique, la compréhension des règles, l'extraction de motifs et la résistance aux interférences. Ces évaluations minimisent l'impact potentiel de la mémorisation. Les résultats expérimentaux montrent que notre modèle FLM-101B, entraîné avec un budget de 100 000 $, atteint des performances comparables à des modèles puissants et bien connus, comme GPT-3 et GLM-130B, en particulier dans les évaluations de benchmark QI avec des contextes non vus dans les données d'entraînement. Le checkpoint de FLM-101B sera open-source sur https://huggingface.co/CofeAI/FLM-101B.

English

Large language models (LLMs) have achieved remarkable success in NLP and multimodal tasks. Despite these successes, their development faces two main challenges: (i) high computational cost; and (ii) difficulty in conducting fair and objective evaluations. LLMs are prohibitively expensive, making it feasible for only a few major players to undertake their training, thereby constraining both research and application opportunities. This underscores the importance of cost-effective LLM training. In this paper, we utilize a growth strategy to significantly reduce LLM training cost. We demonstrate that an LLM with 101B parameters and 0.31TB tokens can be trained on a 100K budget. We also adopt a systematic evaluation paradigm for the IQ evaluation of LLMs, in complement to existing evaluations that focus more on knowledge-oriented abilities. We introduce our benchmark including evaluations on important aspects of intelligence including symbolic mapping, itrule understanding, pattern mining, and anti-interference. Such evaluations minimize the potential impact of memorization. Experimental results show that our model FLM-101B, trained with a budget of 100K, achieves comparable performance to powerful and well-known models, eg GPT-3 and GLM-130B, especially in the IQ benchmark evaluations with contexts unseen in training data. The checkpoint of FLM-101B will be open-sourced at https://huggingface.co/CofeAI/FLM-101B.

FLM-101B : Un modèle de langage ouvert et comment l'entraîner avec un budget de 100 000 $

FLM-101B: An Open LLM and How to Train It with $100K Budget

Résumé

Support