GPT4All: Um Ecossistema de Modelos de Linguagem Comprimidos de Código Aberto

GPT4All: An Ecosystem of Open Source Compressed Language Models

November 6, 2023

Autores: Yuvanesh Anand, Zach Nussbaum, Adam Treat, Aaron Miller, Richard Guo, Ben Schmidt, GPT4All Community, Brandon Duderstadt, Andriy Mulyar

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs, na sigla em inglês) recentemente alcançaram desempenho em nível humano em uma variedade de benchmarks profissionais e acadêmicos. No entanto, a acessibilidade a esses modelos tem ficado aquém de seu desempenho. Os LLMs de última geração exigem infraestrutura cara; estão disponíveis apenas por meio de interfaces web com limitação de taxa, bloqueio geográfico e censura; e carecem de código e relatórios técnicos disponíveis publicamente. Neste artigo, contamos a história do GPT4All, um repositório de código aberto popular que visa democratizar o acesso aos LLMs. Descrevemos os detalhes técnicos da família original de modelos GPT4All, bem como a evolução do projeto GPT4All, de um único modelo para um ecossistema de código aberto totalmente desenvolvido. Esperamos que este artigo sirva tanto como uma visão geral técnica dos modelos originais GPT4All quanto como um estudo de caso sobre o crescimento subsequente do ecossistema de código aberto GPT4All.

English

Large language models (LLMs) have recently achieved human-level performance on a range of professional and academic benchmarks. The accessibility of these models has lagged behind their performance. State-of-the-art LLMs require costly infrastructure; are only accessible via rate-limited, geo-locked, and censored web interfaces; and lack publicly available code and technical reports. In this paper, we tell the story of GPT4All, a popular open source repository that aims to democratize access to LLMs. We outline the technical details of the original GPT4All model family, as well as the evolution of the GPT4All project from a single model into a fully fledged open source ecosystem. It is our hope that this paper acts as both a technical overview of the original GPT4All models as well as a case study on the subsequent growth of the GPT4All open source ecosystem.