Volledig open source Moxin-7B Technisch Rapport

Samenvatting

Onlangs hebben Large Language Models (LLM's) een significante transformatie ondergaan, gekenmerkt door een snelle stijging in zowel hun populariteit als mogelijkheden. Aan het hoofd van deze evolutie staan eigen LLM's zoals GPT-4 en GPT-o1, die brede aandacht hebben getrokken in de AI-gemeenschap vanwege hun opmerkelijke prestaties en veelzijdigheid. Tegelijkertijd hebben open-source LLM's, zoals LLaMA en Mistral, grote bijdragen geleverd aan de steeds grotere populariteit van LLM's vanwege de eenvoud om de modellen aan te passen en in te zetten in diverse toepassingen. Hoewel open-source LLM's ongekende mogelijkheden bieden voor innovatie en onderzoek, heeft de commercialisering van LLM's zorgen opgeroepen over transparantie, reproduceerbaarheid en veiligheid. Veel open-source LLM's voldoen niet aan fundamentele transparantievereisten door essentiële componenten zoals trainingscode en data achter te houden, en sommige gebruiken beperkende licenties terwijl ze beweren "open-source" te zijn, wat verdere innovaties op LLM's kan belemmeren. Om dit probleem te verhelpen, introduceren we Moxin 7B, een volledig open-source LLM ontwikkeld in overeenstemming met het Model Openness Framework (MOF), een gerangschikt classificatiesysteem dat AI-modellen evalueert op basis van modelvolledigheid en openheid, in overeenstemming met principes van open wetenschap, open source, open data en open toegang. Ons model behaalt het hoogste MOF-classificatieniveau van "open wetenschap" door de uitgebreide vrijgave van pre-trainingscode en configuraties, trainings- en fine-tuning-datasets, en tussenliggende en eindcontroles. Experimenten tonen aan dat ons model superieure prestaties behaalt bij zero-shot evaluatie in vergelijking met populaire 7B-modellen en concurrerend presteert bij few-shot evaluatie.

English

Recently, Large Language Models (LLMs) have undergone a significant transformation, marked by a rapid rise in both their popularity and capabilities. Leading this evolution are proprietary LLMs like GPT-4 and GPT-o1, which have captured widespread attention in the AI community due to their remarkable performance and versatility. Simultaneously, open-source LLMs, such as LLaMA and Mistral, have made great contributions to the ever-increasing popularity of LLMs due to the ease to customize and deploy the models across diverse applications. Although open-source LLMs present unprecedented opportunities for innovation and research, the commercialization of LLMs has raised concerns about transparency, reproducibility, and safety. Many open-source LLMs fail to meet fundamental transparency requirements by withholding essential components like training code and data, and some use restrictive licenses whilst claiming to be "open-source," which may hinder further innovations on LLMs. To mitigate this issue, we introduce Moxin 7B, a fully open-source LLM developed in accordance with the Model Openness Framework (MOF), a ranked classification system that evaluates AI models based on model completeness and openness, adhering to principles of open science, open source, open data, and open access. Our model achieves the highest MOF classification level of "open science" through the comprehensive release of pre-training code and configurations, training and fine-tuning datasets, and intermediate and final checkpoints. Experiments show that our model achieves superior performance in zero-shot evaluation compared with popular 7B models and performs competitively in few-shot evaluation.

Volledig open source Moxin-7B Technisch Rapport

Fully Open Source Moxin-7B Technical Report

Samenvatting

Support