Xmodell-2 Technischer Bericht

Xmodel-2 Technical Report

December 27, 2024

Autoren: Wang Qun, Liu Yang, Lin Qingquan, Qu Zhijiu, Jiang Ling

cs.AI

Zusammenfassung

Xmodel-2 ist ein 1,2-Milliarden-Parameter großes Sprachmodell, das speziell für Aufgaben des logischen Denkens entwickelt wurde. Seine Architektur ermöglicht es verschiedenen Modellgrößen, einen einheitlichen Satz von Hyperparametern zu teilen, was umfangreiche Experimente mit kleineren Modellen und nahtlose Übertragung optimaler Konfigurationen auf größere Modelle ermöglicht. Um die Trainingseffizienz und -stabilität zu maximieren, verwendet Xmodel-2 den WSD-Lernratenplaner aus MiniCPM. Mit einem Training auf 1,5 Billionen Tokens aus verschiedenen Quellen erzielt Xmodel-2 Spitzenleistungen bei komplexen Denk- und agentenbasierten Aufgaben, bei gleichzeitig niedrigen Trainingskosten. Diese Ergebnisse verdeutlichen das Potenzial effizienter Modellgestaltung und Trainingsstrategien zur Weiterentwicklung der Denkfähigkeiten. Modell-Checkpoints und Code sind öffentlich auf GitHub unter https://github.com/XiaoduoAILab/Xmodel-2 verfügbar.

English

Xmodel-2 is a 1.2-billion-parameter large language model designed specifically for reasoning tasks. Its architecture enables different model scales to share a unified set of hyperparameters, allowing for extensive experimentation on smaller models and seamless transfer of optimal configurations to larger models. To maximize training efficiency and stability, Xmodel-2 employs the WSD learning rate scheduler from MiniCPM. Pretrained on 1.5 trillion tokens from diverse sources, Xmodel-2 achieves state-of-the-art performance in complex reasoning and agent-based tasks, while maintaining low training costs. These results highlight the potential of efficient model design and training strategies in advancing reasoning capabilities. Model checkpoints and code are publicly available on GitHub at https://github.com/XiaoduoAILab/Xmodel-2