Xmodel-2.5: Um Modelo de Linguagem Pequeno de 1,3B com Raciocínio Eficiente em Dados
Xmodel-2.5: 1.3B Data-Efficient Reasoning SLM
November 23, 2025
Autores: Yang Liu, Xiaolong Zhong, Ling Jiang
cs.AI
Resumo
Os grandes modelos de linguagem oferecem sólidas capacidades de raciocínio e uso de ferramentas, mas suas exigências computacionais os tornam inviáveis para implantações em dispositivos de borda ou sensíveis a custos. Apresentamos o Xmodel-2.5, um pequeno modelo de linguagem com 1,3 bilhão de parâmetros, concebido como um núcleo de agente de substituição direta. O treinamento com parametrização de atualização máxima (μP) permite que hiperparâmetros ajustados em um modelo proxy de 20 milhões de parâmetros sejam transferidos diretamente para o modelo completo, mesmo sob a arquitetura de incorporação de palavras vinculada com parâmetros compartilhados. É utilizado um currículo de Aquecimento--Estabilização--Decaimento com 1,4 trilhão de tokens, e demonstramos ainda que a mudança de AdamW para Muon durante a fase de decaimento melhora a média de raciocínio em 13 tarefas em 4,58%, mantendo todos os outros hiperparâmetros fixos, verificando que a estabilidade inicial do AdamW pode ser combinada com o afiamento tardio do Muon para um melhor desempenho downstream. O treinamento de precisão mista FP8 equilibra precisão e taxa de transferência. Todos os *checkpoints*, receitas e código de avaliação são disponibilizados sob a licença Apache-2.0.https://huggingface.co/XiaoduoAILab/Xmodel-2.5 e https://huggingface.co/XiaoduoAILab/Xmodel-2.5-history (*checkpoints* de treinamento). Código de treinamento e *harness* de avaliação: https://github.com/XiaoduoAILab/Xmodel-2.5.
English
Large language models deliver strong reasoning and tool-use skills, yet their computational demands make them impractical for edge or cost-sensitive deployments. We present Xmodel-2.5, a 1.3-billion-parameter small language model designed as a drop-in agent core. Training with maximal-update parameterization (μP) allows hyper-parameters tuned on a 20M-parameter proxy to transfer directly to the full model, even under the parameter-tied tie-word-embedding architecture. A 1.4T-token Warmup--Stable--Decay curriculum is used, and we further show that switching from AdamW to Muon during the decay phase improves the 13-task reasoning average by 4.58\,\% while keeping every other hyper-parameter fixed, verifying that early AdamW stability can be paired with late Muon sharpening for better downstream performance. FP8-mixed-precision training balances accuracy and throughput. All checkpoints, recipes, and evaluation code are released under the Apache-2.0 license.https://huggingface.co/XiaoduoAILab/Xmodel-2.5 and https://huggingface.co/XiaoduoAILab/Xmodel-2.5-history (training checkpoints). Training code and evaluation harness: https://github.com/XiaoduoAILab/Xmodel-2.5.