H2O Open Ecosystem für hochmoderne Large Language Models

H2O Open Ecosystem for State-of-the-art Large Language Models

October 17, 2023

Autoren: Arno Candel, Jon McKinney, Philipp Singer, Pascal Pfeiffer, Maximilian Jeblick, Chun Ming Lee, Marcos V. Conde

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) stellen eine Revolution in der KI dar. Allerdings bergen sie auch viele erhebliche Risiken, wie das Vorhandensein von voreingenommenen, privaten, urheberrechtlich geschützten oder schädlichen Texten. Aus diesem Grund benötigen wir offene, transparente und sichere Lösungen. Wir stellen ein vollständiges Open-Source-Ökosystem für die Entwicklung und das Testen von LLMs vor. Das Ziel dieses Projekts ist es, offene Alternativen zu Closed-Source-Ansätzen zu fördern. Wir veröffentlichen h2oGPT, eine Familie von feinabgestimmten LLMs mit 7 bis 70 Milliarden Parametern. Zudem präsentieren wir H2O LLM Studio, ein Framework und eine No-Code-GUI, die für effizientes Feinabstimmen, Evaluieren und Bereitstellen von LLMs unter Verwendung der neuesten State-of-the-Art-Techniken entwickelt wurde. Unser Code und unsere Modelle sind unter vollständig freizügigen Apache-2.0-Lizenzen lizenziert. Wir glauben, dass Open-Source-Sprachmodelle die KI-Entwicklung vorantreiben und sie zugänglicher und vertrauenswürdiger machen. Die Demo ist verfügbar unter: https://gpt.h2o.ai/

English

Large Language Models (LLMs) represent a revolution in AI. However, they also pose many significant risks, such as the presence of biased, private, copyrighted or harmful text. For this reason we need open, transparent and safe solutions. We introduce a complete open-source ecosystem for developing and testing LLMs. The goal of this project is to boost open alternatives to closed-source approaches. We release h2oGPT, a family of fine-tuned LLMs from 7 to 70 Billion parameters. We also introduce H2O LLM Studio, a framework and no-code GUI designed for efficient fine-tuning, evaluation, and deployment of LLMs using the most recent state-of-the-art techniques. Our code and models are licensed under fully permissive Apache 2.0 licenses. We believe open-source language models help to boost AI development and make it more accessible and trustworthy. The demo is available at: https://gpt.h2o.ai/