Octopus v4: 言語モデルのグラフ

Octopus v4: Graph of language models

April 30, 2024

著者: Wei Chen, Zhiyuan Li

cs.AI

要旨

言語モデルは幅広いアプリケーションで効果を発揮してきたが、最も洗練されたモデルはしばしばプロプライエタリである。例えば、OpenAIのGPT-4やAnthropicの各種モデルは高価で、多大なエネルギーを消費する。一方、オープンソースコミュニティはLlama3のような競争力のあるモデルを生み出している。さらに、法律、医療、金融などの特定の分野に特化した小型言語モデルは、プロプライエタリのモデルを凌駕する性能を示している。本論文では、機能トークンを用いて複数のオープンソースモデルを統合する新たなアプローチを紹介する。各モデルは特定のタスクに最適化されている。新たに開発したOctopus v4モデルは、機能トークンを活用してユーザーのクエリを最も適した垂直モデルにインテリジェントに誘導し、最高のパフォーマンスを達成するためにクエリを再フォーマットする。Octopus v4は、Octopus v1、v2、v3モデルの進化形であり、選択とパラメータの理解、再フォーマットに優れている。さらに、グラフを多用途のデータ構造として活用し、Octopusモデルと機能トークンの能力を活用して複数のオープンソースモデルを効果的に調整する方法を探る。私たちのオープンソースGitHub（https://www.nexa4ai.com/）を使用してOctopus v4モデル（https://huggingface.co/NexaAIDev/Octopus-v4）を試し、より大規模な言語モデルのグラフに貢献してください。10Bパラメータ未満のモデルを活性化することで、同レベルのモデルの中で74.8のSOTA MMLUスコアを達成した。

English

Language models have been effective in a wide range of applications, yet the most sophisticated models are often proprietary. For example, GPT-4 by OpenAI and various models by Anthropic are expensive and consume substantial energy. In contrast, the open-source community has produced competitive models, like Llama3. Furthermore, niche-specific smaller language models, such as those tailored for legal, medical or financial tasks, have outperformed their proprietary counterparts. This paper introduces a novel approach that employs functional tokens to integrate multiple open-source models, each optimized for particular tasks. Our newly developed Octopus v4 model leverages functional tokens to intelligently direct user queries to the most appropriate vertical model and reformat the query to achieve the best performance. Octopus v4, an evolution of the Octopus v1, v2, and v3 models, excels in selection and parameter understanding and reformatting. Additionally, we explore the use of graph as a versatile data structure that effectively coordinates multiple open-source models by harnessing the capabilities of the Octopus model and functional tokens. Use our open-sourced GitHub (https://www.nexa4ai.com/) to try Octopus v4 models (https://huggingface.co/NexaAIDev/Octopus-v4), and contrite to a larger graph of language models. By activating models less than 10B parameters, we achieved SOTA MMLU score of 74.8 among the same level models.