FLM-101B: Een Open LLM en Hoe Het te Trainen met een Budget van $100K

Samenvatting

Grote taalmmodellen (LLM's) hebben opmerkelijke successen geboekt in NLP en multimodale taken. Ondanks deze successen wordt hun ontwikkeling geconfronteerd met twee belangrijke uitdagingen: (i) hoge rekenkosten; en (ii) moeilijkheden bij het uitvoeren van eerlijke en objectieve evaluaties. LLM's zijn extreem kostbaar, waardoor het trainen ervan alleen haalbaar is voor een beperkt aantal grote spelers, wat zowel onderzoeks- als toepassingsmogelijkheden beperkt. Dit onderstreept het belang van kosteneffectieve training van LLM's. In dit artikel maken we gebruik van een groeistrategie om de trainingskosten van LLM's aanzienlijk te verlagen. We demonstreren dat een LLM met 101B parameters en 0,31TB tokens getraind kan worden met een budget van 100K. Daarnaast hanteren we een systematisch evaluatieparadigma voor de IQ-evaluatie van LLM's, als aanvulling op bestaande evaluaties die zich meer richten op kennisgerichte vaardigheden. We introduceren onze benchmark, inclusief evaluaties van belangrijke aspecten van intelligentie, zoals symbolische mapping, regelbegrip, patroonherkenning en anti-interferentie. Dergelijke evaluaties minimaliseren de mogelijke impact van memorisatie. Experimentele resultaten tonen aan dat ons model FLM-101B, getraind met een budget van 100K, vergelijkbare prestaties levert als krachtige en bekende modellen, zoals GPT-3 en GLM-130B, met name in de IQ-benchmarkevaluaties met contexten die niet in de trainingsdata voorkomen. De checkpoint van FLM-101B zal openbaar worden gemaakt op https://huggingface.co/CofeAI/FLM-101B.

English

Large language models (LLMs) have achieved remarkable success in NLP and multimodal tasks. Despite these successes, their development faces two main challenges: (i) high computational cost; and (ii) difficulty in conducting fair and objective evaluations. LLMs are prohibitively expensive, making it feasible for only a few major players to undertake their training, thereby constraining both research and application opportunities. This underscores the importance of cost-effective LLM training. In this paper, we utilize a growth strategy to significantly reduce LLM training cost. We demonstrate that an LLM with 101B parameters and 0.31TB tokens can be trained on a 100K budget. We also adopt a systematic evaluation paradigm for the IQ evaluation of LLMs, in complement to existing evaluations that focus more on knowledge-oriented abilities. We introduce our benchmark including evaluations on important aspects of intelligence including symbolic mapping, itrule understanding, pattern mining, and anti-interference. Such evaluations minimize the potential impact of memorization. Experimental results show that our model FLM-101B, trained with a budget of 100K, achieves comparable performance to powerful and well-known models, eg GPT-3 and GLM-130B, especially in the IQ benchmark evaluations with contexts unseen in training data. The checkpoint of FLM-101B will be open-sourced at https://huggingface.co/CofeAI/FLM-101B.

FLM-101B: Een Open LLM en Hoe Het te Trainen met een Budget van $100K

FLM-101B: An Open LLM and How to Train It with $100K Budget

Samenvatting

Support