Technisch Rapport Xmodel-2

Xmodel-2 Technical Report

December 27, 2024

Auteurs: Wang Qun, Liu Yang, Lin Qingquan, Qu Zhijiu, Jiang Ling

cs.AI

Samenvatting

Xmodel-2 is een taalmodel met 1,2 miljard parameters dat specifiek is ontworpen voor redeneertaken. De architectuur maakt het mogelijk dat verschillende modelgroottes een gemeenschappelijke set hyperparameters delen, waardoor uitgebreid geëxperimenteerd kan worden met kleinere modellen en optimale configuraties naadloos kunnen worden overgedragen naar grotere modellen. Om de trainings-efficiëntie en stabiliteit te maximaliseren, maakt Xmodel-2 gebruik van de WSD leersnelheidsscheduler van MiniCPM. Voorgetraind op 1,5 biljoen tokens uit diverse bronnen, behaalt Xmodel-2 state-of-the-art prestaties in complexe redeneer- en agent-gebaseerde taken, terwijl de trainingskosten laag blijven. Deze resultaten benadrukken het potentieel van efficiënt modelontwerp en trainingsstrategieën bij het bevorderen van redeneervermogens. Model checkpoints en code zijn openbaar beschikbaar op GitHub op https://github.com/XiaoduoAILab/Xmodel-2

English

Xmodel-2 is a 1.2-billion-parameter large language model designed specifically for reasoning tasks. Its architecture enables different model scales to share a unified set of hyperparameters, allowing for extensive experimentation on smaller models and seamless transfer of optimal configurations to larger models. To maximize training efficiency and stability, Xmodel-2 employs the WSD learning rate scheduler from MiniCPM. Pretrained on 1.5 trillion tokens from diverse sources, Xmodel-2 achieves state-of-the-art performance in complex reasoning and agent-based tasks, while maintaining low training costs. These results highlight the potential of efficient model design and training strategies in advancing reasoning capabilities. Model checkpoints and code are publicly available on GitHub at https://github.com/XiaoduoAILab/Xmodel-2