FLM-101B: Un LLM Open Source e Come Addestrarlo con un Budget di $100K

Abstract

I grandi modelli linguistici (LLM) hanno ottenuto un successo straordinario nei compiti di NLP e multimodali. Nonostante questi successi, il loro sviluppo affronta due principali sfide: (i) l'elevato costo computazionale; e (ii) la difficoltà nel condurre valutazioni eque e oggettive. Gli LLM sono proibitivamente costosi, rendendo fattibile il loro addestramento solo per pochi grandi attori, limitando così sia le opportunità di ricerca che di applicazione. Ciò sottolinea l'importanza di un addestramento degli LLM economicamente vantaggioso. In questo articolo, utilizziamo una strategia di crescita per ridurre significativamente il costo di addestramento degli LLM. Dimostriamo che un LLM con 101 miliardi di parametri e 0,31 terabyte di token può essere addestrato con un budget di 100 mila dollari. Adottiamo inoltre un paradigma di valutazione sistematico per la valutazione del QI degli LLM, complementare alle valutazioni esistenti che si concentrano maggiormente sulle abilità orientate alla conoscenza. Introduciamo il nostro benchmark includendo valutazioni su aspetti importanti dell'intelligenza come la mappatura simbolica, la comprensione delle regole, l'estrazione di pattern e l'anti-interferenza. Tali valutazioni minimizzano il potenziale impatto della memorizzazione. I risultati sperimentali mostrano che il nostro modello FLM-101B, addestrato con un budget di 100 mila dollari, raggiunge prestazioni comparabili a modelli potenti e ben noti, come GPT-3 e GLM-130B, specialmente nelle valutazioni del benchmark QI con contesti non visti nei dati di addestramento. Il checkpoint di FLM-101B sarà open-source su https://huggingface.co/CofeAI/FLM-101B.

English

Large language models (LLMs) have achieved remarkable success in NLP and multimodal tasks. Despite these successes, their development faces two main challenges: (i) high computational cost; and (ii) difficulty in conducting fair and objective evaluations. LLMs are prohibitively expensive, making it feasible for only a few major players to undertake their training, thereby constraining both research and application opportunities. This underscores the importance of cost-effective LLM training. In this paper, we utilize a growth strategy to significantly reduce LLM training cost. We demonstrate that an LLM with 101B parameters and 0.31TB tokens can be trained on a 100K budget. We also adopt a systematic evaluation paradigm for the IQ evaluation of LLMs, in complement to existing evaluations that focus more on knowledge-oriented abilities. We introduce our benchmark including evaluations on important aspects of intelligence including symbolic mapping, itrule understanding, pattern mining, and anti-interference. Such evaluations minimize the potential impact of memorization. Experimental results show that our model FLM-101B, trained with a budget of 100K, achieves comparable performance to powerful and well-known models, eg GPT-3 and GLM-130B, especially in the IQ benchmark evaluations with contexts unseen in training data. The checkpoint of FLM-101B will be open-sourced at https://huggingface.co/CofeAI/FLM-101B.

FLM-101B: Un LLM Open Source e Come Addestrarlo con un Budget di $100K

FLM-101B: An Open LLM and How to Train It with $100K Budget

Abstract

Support