Over de oorsprong van LLM's: Een evolutionaire boom en grafiek voor 15.821 grote taalmodellen

On the Origin of LLMs: An Evolutionary Tree and Graph for 15,821 Large Language Models

July 19, 2023

Auteurs: Sarah Gao, Andrew Kean Gao

cs.AI

Samenvatting

Sinds eind 2022 zijn Large Language Models (LLM's) zeer prominent geworden, waarbij LLM's zoals ChatGPT en Bard miljoenen gebruikers hebben getrokken. Elke week worden honderden nieuwe LLM's aangekondigd, waarvan vele worden gedeponeerd bij Hugging Face, een repository voor machine learning-modellen en datasets. Tot op heden zijn bijna 16.000 tekstgeneratiemodellen naar de site geüpload. Gezien de enorme toestroom van LLM's, is het interessant om te weten welke LLM-backbones, instellingen, trainingsmethoden en families populair of trending zijn. Er is echter geen uitgebreide index van LLM's beschikbaar. Wij maken gebruik van de relatief systematische nomenclatuur van Hugging Face LLM's om hiërarchische clustering uit te voeren en gemeenschappen onder LLM's te identificeren met behulp van n-grams en termfrequentie-inverse documentfrequentie. Onze methoden identificeren met succes families van LLM's en clusteren LLM's nauwkeurig in betekenisvolle subgroepen. Wij presenteren een openbare webapplicatie om Constellation, onze atlas van 15.821 LLM's, te navigeren en te verkennen. Constellation genereert snel een verscheidenheid aan visualisaties, namelijk dendrogrammen, grafieken, woordwolken en spreidingsdiagrammen. Constellation is beschikbaar op de volgende link: https://constellation.sites.stanford.edu/.

English

Since late 2022, Large Language Models (LLMs) have become very prominent with LLMs like ChatGPT and Bard receiving millions of users. Hundreds of new LLMs are announced each week, many of which are deposited to Hugging Face, a repository of machine learning models and datasets. To date, nearly 16,000 Text Generation models have been uploaded to the site. Given the huge influx of LLMs, it is of interest to know which LLM backbones, settings, training methods, and families are popular or trending. However, there is no comprehensive index of LLMs available. We take advantage of the relatively systematic nomenclature of Hugging Face LLMs to perform hierarchical clustering and identify communities amongst LLMs using n-grams and term frequency-inverse document frequency. Our methods successfully identify families of LLMs and accurately cluster LLMs into meaningful subgroups. We present a public web application to navigate and explore Constellation, our atlas of 15,821 LLMs. Constellation rapidly generates a variety of visualizations, namely dendrograms, graphs, word clouds, and scatter plots. Constellation is available at the following link: https://constellation.sites.stanford.edu/.