FLM-101B: Ein offenes großes Sprachmodell und wie man es mit einem Budget von 100.000 US-Dollar trainiert

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Erfolge in NLP- und multimodalen Aufgaben erzielt. Trotz dieser Erfolge stehen ihrer Entwicklung zwei Hauptherausforderungen gegenüber: (i) hohe Rechenkosten; und (ii) Schwierigkeiten bei der Durchführung fairer und objektiver Bewertungen. LLMs sind extrem kostspielig, was es nur wenigen großen Akteuren ermöglicht, deren Training durchzuführen, wodurch sowohl Forschungs- als auch Anwendungsmöglichkeiten eingeschränkt werden. Dies unterstreicht die Bedeutung kosteneffizienten LLM-Trainings. In diesem Artikel nutzen wir eine Wachstumsstrategie, um die LLM-Trainingskosten erheblich zu senken. Wir zeigen, dass ein LLM mit 101B Parametern und 0,31TB Tokens mit einem Budget von 100K trainiert werden kann. Wir führen auch ein systematisches Bewertungsparadigma für die IQ-Bewertung von LLMs ein, das bestehende Bewertungen ergänzt, die sich stärker auf wissensorientierte Fähigkeiten konzentrieren. Wir stellen unseren Benchmark vor, der Bewertungen wichtiger Aspekte der Intelligenz umfasst, darunter symbolische Abbildung, Regelverständnis, Mustererkennung und Anti-Interferenz. Solche Bewertungen minimieren die potenzielle Auswirkung von Auswendiglernen. Experimentelle Ergebnisse zeigen, dass unser Modell FLM-101B, das mit einem Budget von 100K trainiert wurde, eine vergleichbare Leistung zu leistungsstarken und bekannten Modellen wie GPT-3 und GLM-130B erzielt, insbesondere in den IQ-Benchmark-Bewertungen mit Kontexten, die in den Trainingsdaten nicht vorkamen. Der Checkpoint von FLM-101B wird unter https://huggingface.co/CofeAI/FLM-101B open-source veröffentlicht.

English

Large language models (LLMs) have achieved remarkable success in NLP and multimodal tasks. Despite these successes, their development faces two main challenges: (i) high computational cost; and (ii) difficulty in conducting fair and objective evaluations. LLMs are prohibitively expensive, making it feasible for only a few major players to undertake their training, thereby constraining both research and application opportunities. This underscores the importance of cost-effective LLM training. In this paper, we utilize a growth strategy to significantly reduce LLM training cost. We demonstrate that an LLM with 101B parameters and 0.31TB tokens can be trained on a 100K budget. We also adopt a systematic evaluation paradigm for the IQ evaluation of LLMs, in complement to existing evaluations that focus more on knowledge-oriented abilities. We introduce our benchmark including evaluations on important aspects of intelligence including symbolic mapping, itrule understanding, pattern mining, and anti-interference. Such evaluations minimize the potential impact of memorization. Experimental results show that our model FLM-101B, trained with a budget of 100K, achieves comparable performance to powerful and well-known models, eg GPT-3 and GLM-130B, especially in the IQ benchmark evaluations with contexts unseen in training data. The checkpoint of FLM-101B will be open-sourced at https://huggingface.co/CofeAI/FLM-101B.

FLM-101B: Ein offenes großes Sprachmodell und wie man es mit einem Budget von 100.000 US-Dollar trainiert

FLM-101B: An Open LLM and How to Train It with $100K Budget

Zusammenfassung

Support