h2oGPT: Het democratiseren van grote taalmodellen

h2oGPT: Democratizing Large Language Models

June 13, 2023

Auteurs: Arno Candel, Jon McKinney, Philipp Singer, Pascal Pfeiffer, Maximilian Jeblick, Prithvi Prabhu, Jeff Gambera, Mark Landry, Shivam Bansal, Ryan Chesler, Chun Ming Lee, Marcos V. Conde, Pasha Stetsenko, Olivier Grellier, SriSatish Ambati

cs.AI

Samenvatting

Foundation Large Language Models (LLMs) zoals GPT-4 vertegenwoordigen een revolutie in AI vanwege hun toepassingen in de echte wereld via natuurlijke taalverwerking. Ze brengen echter ook aanzienlijke risico's met zich mee, zoals de aanwezigheid van bevooroordeelde, privé- of schadelijke tekst, en de ongeautoriseerde opname van auteursrechtelijk beschermd materiaal. Wij introduceren h2oGPT, een suite van open-source code repositories voor het creëren en gebruiken van Large Language Models (LLMs) gebaseerd op Generative Pretrained Transformers (GPTs). Het doel van dit project is om 's werelds beste echt open-source alternatief te creëren voor closed-source GPTs. In samenwerking met en als onderdeel van de ongelooflijke en onstuitbare open-source community, open-sourcen we verschillende fijn afgestemde h2oGPT-modellen van 7 tot 40 miljard parameters, klaar voor commercieel gebruik onder volledig permissieve Apache 2.0-licenties. In onze release is ook 100% privé documentzoeken met natuurlijke taal inbegrepen. Open-source taalmodellen helpen de ontwikkeling van AI te versnellen en maken het toegankelijker en betrouwbaarder. Ze verlagen de drempels voor toegang, waardoor individuen en groepen deze modellen kunnen aanpassen aan hun behoeften. Deze openheid bevordert innovatie, transparantie en eerlijkheid. Een open-source strategie is nodig om de voordelen van AI eerlijk te delen, en H2O.ai zal blijven werken aan de democratisering van AI en LLMs.

English

Foundation Large Language Models (LLMs) such as GPT-4 represent a revolution in AI due to their real-world applications though natural language processing. However, they also pose many significant risks such as the presence of biased, private, or harmful text, and the unauthorized inclusion of copyrighted material. We introduce h2oGPT, a suite of open-source code repositories for the creation and use of Large Language Models (LLMs) based on Generative Pretrained Transformers (GPTs). The goal of this project is to create the world's best truly open-source alternative to closed-source GPTs. In collaboration with and as part of the incredible and unstoppable open-source community, we open-source several fine-tuned h2oGPT models from 7 to 40 Billion parameters, ready for commercial use under fully permissive Apache 2.0 licenses. Included in our release is 100% private document search using natural language. Open-source language models help boost AI development and make it more accessible and trustworthy. They lower entry hurdles, allowing people and groups to tailor these models to their needs. This openness increases innovation, transparency, and fairness. An open-source strategy is needed to share AI benefits fairly, and H2O.ai will continue to democratize AI and LLMs.