최첨단 대규모 언어 모델을 위한 H2O 오픈 생태계
H2O Open Ecosystem for State-of-the-art Large Language Models
October 17, 2023
저자: Arno Candel, Jon McKinney, Philipp Singer, Pascal Pfeiffer, Maximilian Jeblick, Chun Ming Lee, Marcos V. Conde
cs.AI
초록
대형 언어 모델(LLMs)은 AI 분야에서 혁신을 가져왔습니다. 그러나 이러한 모델들은 편향적이거나 사적인, 저작권이 있는, 또는 유해한 텍스트를 포함할 수 있는 등 상당한 위험 요소도 내포하고 있습니다. 이러한 이유로 우리는 개방적이고 투명하며 안전한 솔루션이 필요합니다. 본 프로젝트에서는 LLM 개발과 테스트를 위한 완전한 오픈소스 생태계를 소개합니다. 이 프로젝트의 목표는 폐쇄형 접근 방식에 대한 개방형 대안을 촉진하는 것입니다. 우리는 70억에서 700억 개의 파라미터를 가진 미세 조정된 LLM인 h2oGPT 시리즈를 공개합니다. 또한, 최신 기술을 활용하여 LLM의 효율적인 미세 조정, 평가, 배포를 위한 프레임워크 및 노코드 GUI인 H2O LLM Studio를 소개합니다. 우리의 코드와 모델은 완전히 허용적인 Apache 2.0 라이선스 하에 제공됩니다. 우리는 오픈소스 언어 모델이 AI 개발을 촉진하고 더 접근 가능하며 신뢰할 수 있게 만드는 데 도움이 된다고 믿습니다. 데모는 https://gpt.h2o.ai/에서 확인할 수 있습니다.
English
Large Language Models (LLMs) represent a revolution in AI. However, they also
pose many significant risks, such as the presence of biased, private,
copyrighted or harmful text. For this reason we need open, transparent and safe
solutions. We introduce a complete open-source ecosystem for developing and
testing LLMs. The goal of this project is to boost open alternatives to
closed-source approaches. We release h2oGPT, a family of fine-tuned LLMs from 7
to 70 Billion parameters. We also introduce H2O LLM Studio, a framework and
no-code GUI designed for efficient fine-tuning, evaluation, and deployment of
LLMs using the most recent state-of-the-art techniques. Our code and models are
licensed under fully permissive Apache 2.0 licenses. We believe open-source
language models help to boost AI development and make it more accessible and
trustworthy. The demo is available at: https://gpt.h2o.ai/