Relatório Técnico Completo do Moxin-7B de Código Aberto

Fully Open Source Moxin-7B Technical Report

December 8, 2024

Autores: Pu Zhao, Xuan Shen, Zhenglun Kong, Yixin Shen, Sung-En Chang, Timothy Rupprecht, Lei Lu, Enfu Nan, Changdi Yang, Yumei He, Xingchen Xu, Yu Huang, Wei Wang, Yue Chen, Yong He, Yanzhi Wang

cs.AI

Resumo

Recentemente, os Modelos de Linguagem de Grande Escala (LLMs) passaram por uma transformação significativa, marcada por um rápido aumento tanto em sua popularidade quanto em suas capacidades. Liderando essa evolução estão LLMs proprietários como GPT-4 e GPT-o1, que têm capturado ampla atenção na comunidade de IA devido ao seu desempenho e versatilidade notáveis. Simultaneamente, LLMs de código aberto, como LLaMA e Mistral, têm feito grandes contribuições para a crescente popularidade dos LLMs devido à facilidade de personalização e implantação dos modelos em diversas aplicações. Embora os LLMs de código aberto apresentem oportunidades sem precedentes para inovação e pesquisa, a comercialização dos LLMs tem levantado preocupações sobre transparência, reprodutibilidade e segurança. Muitos LLMs de código aberto não atendem aos requisitos fundamentais de transparência ao reter componentes essenciais como código de treinamento e dados, e alguns utilizam licenças restritivas enquanto afirmam ser "de código aberto", o que pode dificultar novas inovações em LLMs. Para mitigar esse problema, apresentamos o Moxin 7B, um LLM totalmente de código aberto desenvolvido de acordo com o Modelo de Abertura de Modelo (MOF), um sistema de classificação ranqueado que avalia modelos de IA com base na completude e abertura do modelo, aderindo aos princípios de ciência aberta, código aberto, dados abertos e acesso aberto. Nosso modelo alcança o mais alto nível de classificação do MOF, "ciência aberta", por meio da ampla divulgação do código e configurações de pré-treinamento, conjuntos de dados de treinamento e ajuste fino, e checkpoints intermediários e finais. Experimentos mostram que nosso modelo alcança desempenho superior na avaliação de zero-shot em comparação com modelos 7B populares e tem desempenho competitivo na avaliação de few-shot.

English

Recently, Large Language Models (LLMs) have undergone a significant transformation, marked by a rapid rise in both their popularity and capabilities. Leading this evolution are proprietary LLMs like GPT-4 and GPT-o1, which have captured widespread attention in the AI community due to their remarkable performance and versatility. Simultaneously, open-source LLMs, such as LLaMA and Mistral, have made great contributions to the ever-increasing popularity of LLMs due to the ease to customize and deploy the models across diverse applications. Although open-source LLMs present unprecedented opportunities for innovation and research, the commercialization of LLMs has raised concerns about transparency, reproducibility, and safety. Many open-source LLMs fail to meet fundamental transparency requirements by withholding essential components like training code and data, and some use restrictive licenses whilst claiming to be "open-source," which may hinder further innovations on LLMs. To mitigate this issue, we introduce Moxin 7B, a fully open-source LLM developed in accordance with the Model Openness Framework (MOF), a ranked classification system that evaluates AI models based on model completeness and openness, adhering to principles of open science, open source, open data, and open access. Our model achieves the highest MOF classification level of "open science" through the comprehensive release of pre-training code and configurations, training and fine-tuning datasets, and intermediate and final checkpoints. Experiments show that our model achieves superior performance in zero-shot evaluation compared with popular 7B models and performs competitively in few-shot evaluation.