О происхождении больших языковых моделей: эволюционное дерево и граф для 15 821 крупной языковой модели

On the Origin of LLMs: An Evolutionary Tree and Graph for 15,821 Large Language Models

July 19, 2023

Авторы: Sarah Gao, Andrew Kean Gao

cs.AI

Аннотация

С конца 2022 года крупные языковые модели (LLM) стали чрезвычайно популярными, такие как ChatGPT и Bard, которые привлекли миллионы пользователей. Еженедельно анонсируются сотни новых LLM, многие из которых загружаются на Hugging Face — репозиторий моделей машинного обучения и наборов данных. На сегодняшний день на сайт загружено почти 16 000 моделей для генерации текста. Учитывая огромный приток LLM, важно понимать, какие архитектуры, настройки, методы обучения и семейства моделей являются популярными или трендовыми. Однако на данный момент не существует всеобъемлющего индекса LLM. Мы используем относительно систематическую номенклатуру LLM на Hugging Face для проведения иерархической кластеризации и выявления сообществ среди LLM с помощью n-грамм и частоты терминов, обратной частоте документов. Наши методы успешно идентифицируют семейства LLM и точно группируют модели в значимые подгруппы. Мы представляем общедоступное веб-приложение для навигации и изучения Constellation — нашего атласа из 15 821 LLM. Constellation быстро генерирует различные визуализации, такие как дендрограммы, графы, облака слов и точечные диаграммы. Constellation доступен по следующей ссылке: https://constellation.sites.stanford.edu/.

English

Since late 2022, Large Language Models (LLMs) have become very prominent with LLMs like ChatGPT and Bard receiving millions of users. Hundreds of new LLMs are announced each week, many of which are deposited to Hugging Face, a repository of machine learning models and datasets. To date, nearly 16,000 Text Generation models have been uploaded to the site. Given the huge influx of LLMs, it is of interest to know which LLM backbones, settings, training methods, and families are popular or trending. However, there is no comprehensive index of LLMs available. We take advantage of the relatively systematic nomenclature of Hugging Face LLMs to perform hierarchical clustering and identify communities amongst LLMs using n-grams and term frequency-inverse document frequency. Our methods successfully identify families of LLMs and accurately cluster LLMs into meaningful subgroups. We present a public web application to navigate and explore Constellation, our atlas of 15,821 LLMs. Constellation rapidly generates a variety of visualizations, namely dendrograms, graphs, word clouds, and scatter plots. Constellation is available at the following link: https://constellation.sites.stanford.edu/.