Steel-LLM: Vanaf het Begin tot Open Source - Een Persoonlijke Reis in het Bouwen van een LLM Gericht op het Chinees

Steel-LLM:From Scratch to Open Source -- A Personal Journey in Building a Chinese-Centric LLM

February 10, 2025

Auteurs: Qingshui Gu, Shu Li, Tianyu Zheng, Zhaoxiang Zhang

cs.AI

Samenvatting

Steel-LLM is een op China gericht taalmodel dat vanaf nul is ontwikkeld met als doel een hoogwaardig, open-source model te creëren ondanks beperkte rekenkracht. Gelanceerd in maart 2024, had het project tot doel een model met 1 miljard parameters te trainen op een grootschalige dataset, met nadruk op transparantie en het delen van praktische inzichten om anderen in de gemeenschap te helpen. Het trainingsproces richtte zich voornamelijk op Chinese gegevens, met een klein deel Engelse gegevens, om lacunes in bestaande open-source LLM's aan te pakken door een gedetailleerder en praktischer verslag van de modelbouwreis te bieden. Steel-LLM heeft een concurrerende prestatie getoond op benchmarks zoals CEVAL en CMMLU, waarbij het vroegere modellen van grotere instellingen overtrof. Dit artikel biedt een uitgebreid overzicht van de belangrijkste bijdragen van het project, waaronder gegevensverzameling, modelontwerp, trainingsmethodologieën en de uitdagingen die onderweg zijn tegengekomen, en biedt een waardevolle bron voor onderzoekers en vakmensen die hun eigen LLM's willen ontwikkelen. De modelcontrolepunten en trainingscript zijn beschikbaar op https://github.com/zhanshijinwat/Steel-LLM.

English

Steel-LLM is a Chinese-centric language model developed from scratch with the goal of creating a high-quality, open-source model despite limited computational resources. Launched in March 2024, the project aimed to train a 1-billion-parameter model on a large-scale dataset, prioritizing transparency and the sharing of practical insights to assist others in the community. The training process primarily focused on Chinese data, with a small proportion of English data included, addressing gaps in existing open-source LLMs by providing a more detailed and practical account of the model-building journey. Steel-LLM has demonstrated competitive performance on benchmarks such as CEVAL and CMMLU, outperforming early models from larger institutions. This paper provides a comprehensive summary of the project's key contributions, including data collection, model design, training methodologies, and the challenges encountered along the way, offering a valuable resource for researchers and practitioners looking to develop their own LLMs. The model checkpoints and training script are available at https://github.com/zhanshijinwat/Steel-LLM.