ヘルメス3 技術レポート

Hermes 3 Technical Report

August 15, 2024

著者: Ryan Teknium, Jeffrey Quesnelle, Chen Guang

cs.AI

要旨

指示（または「チャット」）チューニングされたモデルは、ほとんどの人々が大規模言語モデルとやり取りする主要な方法となっています。通常の「ベース」または「基礎」モデルとは異なり、指示チューニングされたモデルは命令文に応答するよう最適化されています。本論文では、強力な推論力と創造力を備えた中立な一般指示およびツール利用モデルであるHermes 3を提案します。その最大バージョンであるHermes 3 405Bは、いくつかの公開ベンチマークにおいてオープンウェイトモデルの最先端の性能を達成しています。

English

Instruct (or "chat") tuned models have become the primary way in which most people interact with large language models. As opposed to "base" or "foundation" models, instruct-tuned models are optimized to respond to imperative statements. We present Hermes 3, a neutrally-aligned generalist instruct and tool use model with strong reasoning and creative abilities. Its largest version, Hermes 3 405B, achieves state of the art performance among open weight models on several public benchmarks.