Pangu Ultra: Llevando al límite los modelos de lenguaje densos a gran escala en NPUs AscendPangu Ultra: Pushing the Limits of Dense Large Language Models on Ascend
NPUs
Presentamos Pangu Ultra, un Modelo de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) con 135 mil millones de parámetros y módulos densos de Transformer entrenados en Unidades de Procesamiento Neural (NPU) Ascend. Aunque el campo de los LLM ha experimentado avances sin precedentes en la escala y capacidad de estos modelos en los últimos años, entrenar un modelo de tal magnitud aún implica desafíos significativos de optimización y sistemas. Para estabilizar el proceso de entrenamiento, proponemos la normalización tipo sándwich escalada en profundidad, que elimina eficazmente los picos de pérdida durante el entrenamiento de modelos profundos. Preentrenamos nuestro modelo con 13,2 billones de tokens diversos y de alta calidad, y mejoramos aún más sus capacidades de razonamiento durante el posentrenamiento. Para llevar a cabo este entrenamiento a gran escala de manera eficiente, utilizamos 8.192 NPU Ascend con una serie de optimizaciones del sistema. Las evaluaciones en múltiples benchmarks diversos indican que Pangu Ultra avanza significativamente las capacidades de vanguardia de los LLM densos, como Llama 405B y Mistral Large 2, e incluso logra resultados competitivos con DeepSeek-R1, cuya estructura de modelo disperso contiene muchos más parámetros. Nuestra exploración demuestra que las NPU Ascend son capaces de entrenar de manera eficiente y efectiva modelos densos con más de 100 mil millones de parámetros. Nuestro modelo y sistema estarán disponibles para nuestros clientes comerciales.