GPT4All：オープンソース圧縮言語モデルのエコシステム

GPT4All: An Ecosystem of Open Source Compressed Language Models

November 6, 2023

著者: Yuvanesh Anand, Zach Nussbaum, Adam Treat, Aaron Miller, Richard Guo, Ben Schmidt, GPT4All Community, Brandon Duderstadt, Andriy Mulyar

cs.AI

要旨

大規模言語モデル（LLM）は最近、さまざまな専門的および学術的なベンチマークで人間レベルの性能を達成しています。しかし、これらのモデルのアクセシビリティはその性能に追いついていません。最先端のLLMは高価なインフラを必要とし、レート制限、地域制限、検閲がかかったウェブインターフェースを通じてのみアクセス可能で、公開されたコードや技術レポートも不足しています。本論文では、LLMへのアクセスを民主化することを目指す人気のオープンソースリポジトリであるGPT4Allのストーリーを紹介します。私たちは、オリジナルのGPT4Allモデルファミリーの技術的詳細と、GPT4Allプロジェクトが単一のモデルから完全なオープンソースエコシステムへと進化した過程を概説します。この論文が、オリジナルのGPT4Allモデルの技術的概要としてだけでなく、その後のGPT4Allオープンソースエコシステムの成長に関するケーススタディとしても機能することを願っています。

English

Large language models (LLMs) have recently achieved human-level performance on a range of professional and academic benchmarks. The accessibility of these models has lagged behind their performance. State-of-the-art LLMs require costly infrastructure; are only accessible via rate-limited, geo-locked, and censored web interfaces; and lack publicly available code and technical reports. In this paper, we tell the story of GPT4All, a popular open source repository that aims to democratize access to LLMs. We outline the technical details of the original GPT4All model family, as well as the evolution of the GPT4All project from a single model into a fully fledged open source ecosystem. It is our hope that this paper acts as both a technical overview of the original GPT4All models as well as a case study on the subsequent growth of the GPT4All open source ecosystem.