Informe Técnico Completo de Moxin-7B de Código Abierto

Fully Open Source Moxin-7B Technical Report

December 8, 2024

Autores: Pu Zhao, Xuan Shen, Zhenglun Kong, Yixin Shen, Sung-En Chang, Timothy Rupprecht, Lei Lu, Enfu Nan, Changdi Yang, Yumei He, Xingchen Xu, Yu Huang, Wei Wang, Yue Chen, Yong He, Yanzhi Wang

cs.AI

Resumen

Recientemente, los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) han experimentado una transformación significativa, marcada por un rápido aumento tanto en su popularidad como en sus capacidades. Liderando esta evolución se encuentran LLMs propietarios como GPT-4 y GPT-o1, que han captado una atención generalizada en la comunidad de IA debido a su notable rendimiento y versatilidad. Simultáneamente, LLMs de código abierto, como LLaMA y Mistral, han realizado grandes contribuciones a la creciente popularidad de los LLMs debido a la facilidad para personalizar e implementar los modelos en diversas aplicaciones. Aunque los LLMs de código abierto presentan oportunidades sin precedentes para la innovación y la investigación, la comercialización de los LLMs ha suscitado preocupaciones sobre la transparencia, la reproducibilidad y la seguridad. Muchos LLMs de código abierto no cumplen con los requisitos fundamentales de transparencia al retener componentes esenciales como el código de entrenamiento y los datos, y algunos utilizan licencias restrictivas mientras afirman ser "de código abierto", lo que puede obstaculizar futuras innovaciones en los LLMs. Para mitigar este problema, presentamos Moxin 7B, un LLM totalmente de código abierto desarrollado de acuerdo con el Marco de Apertura del Modelo (MOF), un sistema de clasificación jerarquizado que evalúa los modelos de IA en función de su completitud y apertura, siguiendo los principios de ciencia abierta, código abierto, datos abiertos y acceso abierto. Nuestro modelo alcanza el nivel de clasificación más alto del MOF de "ciencia abierta" a través de la liberación integral del código y configuraciones de pre-entrenamiento, conjuntos de datos de entrenamiento y ajuste fino, así como puntos de control intermedios y finales. Los experimentos muestran que nuestro modelo logra un rendimiento superior en la evaluación de cero disparos en comparación con modelos 7B populares y se desempeña de manera competitiva en la evaluación de pocos disparos.

English

Recently, Large Language Models (LLMs) have undergone a significant transformation, marked by a rapid rise in both their popularity and capabilities. Leading this evolution are proprietary LLMs like GPT-4 and GPT-o1, which have captured widespread attention in the AI community due to their remarkable performance and versatility. Simultaneously, open-source LLMs, such as LLaMA and Mistral, have made great contributions to the ever-increasing popularity of LLMs due to the ease to customize and deploy the models across diverse applications. Although open-source LLMs present unprecedented opportunities for innovation and research, the commercialization of LLMs has raised concerns about transparency, reproducibility, and safety. Many open-source LLMs fail to meet fundamental transparency requirements by withholding essential components like training code and data, and some use restrictive licenses whilst claiming to be "open-source," which may hinder further innovations on LLMs. To mitigate this issue, we introduce Moxin 7B, a fully open-source LLM developed in accordance with the Model Openness Framework (MOF), a ranked classification system that evaluates AI models based on model completeness and openness, adhering to principles of open science, open source, open data, and open access. Our model achieves the highest MOF classification level of "open science" through the comprehensive release of pre-training code and configurations, training and fine-tuning datasets, and intermediate and final checkpoints. Experiments show that our model achieves superior performance in zero-shot evaluation compared with popular 7B models and performs competitively in few-shot evaluation.