オープン言語モデルの評価：タスクタイプ、アプリケーションドメイン、推論タイプにわたる詳細な実験的分析

Evaluating Open Language Models Across Task Types, Application Domains, and Reasoning Types: An In-Depth Experimental Analysis

June 17, 2024

著者: Neelabh Sinha, Vinija Jain, Aman Chadha

cs.AI

要旨

言語モデル（LMs）の急速な台頭により、その利用はさまざまなアプリケーションに拡大しています。しかし、モデルサイズの制約、関連コスト、またはプロプライエタリな制限のため、最先端（SOTA）の大規模言語モデル（LLMs）を常に利用できるとは限りません。オープンで小規模なLMsが登場するにつれ、より多くのアプリケーションがその能力を活用できるようになりましたが、適切なLMを選択することは難しい課題です。本研究では、10の小規模でオープンなLMsの出力の意味的正確性について、タスクタイプ、アプリケーションドメイン、推論タイプの3つの側面にわたる詳細な実験分析を行い、多様なプロンプトスタイルを使用しています。特定の要件に応じて最も効果的なモデルとプロンプトスタイルが異なることを示します。私たちの分析は、ユースケースやその他の制約に基づいて戦略的に選択するための3段階のスキーマを用いて、LMsとプロンプトスタイルの比較評価を提供します。また、適切に活用すれば、これらのLMsがDeepSeek-v2、GPT-3.5-Turbo、GPT-4oなどのSOTA LLMsと競合し、時には凌駕することも可能であることを示します。

English

The rapid rise of Language Models (LMs) has expanded their use in several applications. Yet, due to constraints of model size, associated cost, or proprietary restrictions, utilizing state-of-the-art (SOTA) LLMs is not always feasible. With open, smaller LMs emerging, more applications can leverage their capabilities, but selecting the right LM can be challenging. This work conducts an in-depth experimental analysis of the semantic correctness of outputs of 10 smaller, open LMs across three aspects: task types, application domains and reasoning types, using diverse prompt styles. We demonstrate that most effective models and prompt styles vary depending on the specific requirements. Our analysis provides a comparative assessment of LMs and prompt styles using a proposed three-tier schema of aspects for their strategic selection based on use-case and other constraints. We also show that if utilized appropriately, these LMs can compete with, and sometimes outperform, SOTA LLMs like DeepSeek-v2, GPT-3.5-Turbo, and GPT-4o.