Octopus v4: 언어 모델 그래프

Octopus v4: Graph of language models

April 30, 2024

저자: Wei Chen, Zhiyuan Li

cs.AI

초록

언어 모델은 다양한 응용 분야에서 효과적임이 입증되었지만, 가장 정교한 모델들은 종종 독점적입니다. 예를 들어, OpenAI의 GPT-4와 Anthropic의 다양한 모델들은 비용이 많이 들고 상당한 에너지를 소비합니다. 반면, 오픈소스 커뮤니티는 Llama3와 같은 경쟁력 있는 모델들을 생산해 왔습니다. 더 나아가, 법률, 의료 또는 금융 작업에 특화된 틈새 시장용 소형 언어 모델들은 독점 모델들을 능가하는 성능을 보여주었습니다. 본 논문은 특정 작업에 최적화된 여러 오픈소스 모델들을 통합하기 위해 기능적 토큰을 사용하는 새로운 접근 방식을 소개합니다. 우리가 새롭게 개발한 Octopus v4 모델은 기능적 토큰을 활용하여 사용자 쿼리를 가장 적합한 수직 모델로 지능적으로 전달하고 최고의 성능을 달성하기 위해 쿼리를 재구성합니다. Octopus v1, v2, v3 모델의 진화형인 Octopus v4는 선택 및 매개변수 이해와 재구성에서 탁월한 성능을 보입니다. 또한, 우리는 Octopus 모델과 기능적 토큰의 능력을 활용하여 여러 오픈소스 모델들을 효과적으로 조정하는 다용도 데이터 구조로서 그래프의 사용을 탐구합니다. 우리의 오픈소스 GitHub(https://www.nexa4ai.com/)를 통해 Octopus v4 모델(https://huggingface.co/NexaAIDev/Octopus-v4)을 시도하고, 더 큰 언어 모델 그래프에 기여해 보세요. 10B 매개변수 미만의 모델들을 활성화함으로써, 우리는 동급 모델들 중 SOTA MMLU 점수 74.8을 달성했습니다.

English

Language models have been effective in a wide range of applications, yet the most sophisticated models are often proprietary. For example, GPT-4 by OpenAI and various models by Anthropic are expensive and consume substantial energy. In contrast, the open-source community has produced competitive models, like Llama3. Furthermore, niche-specific smaller language models, such as those tailored for legal, medical or financial tasks, have outperformed their proprietary counterparts. This paper introduces a novel approach that employs functional tokens to integrate multiple open-source models, each optimized for particular tasks. Our newly developed Octopus v4 model leverages functional tokens to intelligently direct user queries to the most appropriate vertical model and reformat the query to achieve the best performance. Octopus v4, an evolution of the Octopus v1, v2, and v3 models, excels in selection and parameter understanding and reformatting. Additionally, we explore the use of graph as a versatile data structure that effectively coordinates multiple open-source models by harnessing the capabilities of the Octopus model and functional tokens. Use our open-sourced GitHub (https://www.nexa4ai.com/) to try Octopus v4 models (https://huggingface.co/NexaAIDev/Octopus-v4), and contrite to a larger graph of language models. By activating models less than 10B parameters, we achieved SOTA MMLU score of 74.8 among the same level models.