Écosystème ouvert H2O pour les modèles de langage de pointe à grande échelle
H2O Open Ecosystem for State-of-the-art Large Language Models
October 17, 2023
Auteurs: Arno Candel, Jon McKinney, Philipp Singer, Pascal Pfeiffer, Maximilian Jeblick, Chun Ming Lee, Marcos V. Conde
cs.AI
Résumé
Les modèles de langage de grande taille (LLMs) représentent une révolution dans l'IA. Cependant, ils posent également de nombreux risques significatifs, tels que la présence de textes biaisés, privés, protégés par des droits d'auteur ou nuisibles. Pour cette raison, nous avons besoin de solutions ouvertes, transparentes et sûres. Nous présentons un écosystème open-source complet pour le développement et le test des LLMs. L'objectif de ce projet est de promouvoir des alternatives ouvertes aux approches propriétaires. Nous publions h2oGPT, une famille de LLMs affinés allant de 7 à 70 milliards de paramètres. Nous introduisons également H2O LLM Studio, un framework et une interface graphique sans code conçus pour l'affinage, l'évaluation et le déploiement efficaces des LLMs en utilisant les techniques les plus récentes et avancées. Notre code et nos modèles sont sous licence Apache 2.0 entièrement permissive. Nous croyons que les modèles de langage open-source contribuent à accélérer le développement de l'IA et la rendent plus accessible et digne de confiance. La démo est disponible à l'adresse : https://gpt.h2o.ai/
English
Large Language Models (LLMs) represent a revolution in AI. However, they also
pose many significant risks, such as the presence of biased, private,
copyrighted or harmful text. For this reason we need open, transparent and safe
solutions. We introduce a complete open-source ecosystem for developing and
testing LLMs. The goal of this project is to boost open alternatives to
closed-source approaches. We release h2oGPT, a family of fine-tuned LLMs from 7
to 70 Billion parameters. We also introduce H2O LLM Studio, a framework and
no-code GUI designed for efficient fine-tuning, evaluation, and deployment of
LLMs using the most recent state-of-the-art techniques. Our code and models are
licensed under fully permissive Apache 2.0 licenses. We believe open-source
language models help to boost AI development and make it more accessible and
trustworthy. The demo is available at: https://gpt.h2o.ai/