Оценка открытых языковых моделей по типам задач, областям применения и типам рассуждений: глубинный экспериментальный анализ

Evaluating Open Language Models Across Task Types, Application Domains, and Reasoning Types: An In-Depth Experimental Analysis

June 17, 2024

Авторы: Neelabh Sinha, Vinija Jain, Aman Chadha

cs.AI

Аннотация

Быстрый рост языковых моделей (LMs) расширил их использование в нескольких приложениях. Тем не менее, из-за ограничений размера модели, связанных с затратами или ограничениями владения, использование передовых (SOTA) LLMs не всегда является возможным. С появлением открытых, более компактных LMs становится возможным использовать их возможности в большем количестве приложений, однако выбор правильной LM может быть сложным. В данной работе проводится глубокий экспериментальный анализ семантической корректности результатов 10 более компактных, открытых LMs по трем аспектам: типам задач, областям применения и типам рассуждений, с использованием различных стилей подсказок. Мы демонстрируем, что наиболее эффективные модели и стили подсказок различаются в зависимости от конкретных требований. Наш анализ предоставляет сравнительную оценку LMs и стилей подсказок с использованием предложенной трехуровневой схемы аспектов для их стратегического выбора на основе сценария использования и других ограничений. Мы также показываем, что, если использовать их правильно, эти LMs могут конкурировать с, и иногда превосходить, передовые LLMs, такие как DeepSeek-v2, GPT-3.5-Turbo и GPT-4o.

English

The rapid rise of Language Models (LMs) has expanded their use in several applications. Yet, due to constraints of model size, associated cost, or proprietary restrictions, utilizing state-of-the-art (SOTA) LLMs is not always feasible. With open, smaller LMs emerging, more applications can leverage their capabilities, but selecting the right LM can be challenging. This work conducts an in-depth experimental analysis of the semantic correctness of outputs of 10 smaller, open LMs across three aspects: task types, application domains and reasoning types, using diverse prompt styles. We demonstrate that most effective models and prompt styles vary depending on the specific requirements. Our analysis provides a comparative assessment of LMs and prompt styles using a proposed three-tier schema of aspects for their strategic selection based on use-case and other constraints. We also show that if utilized appropriately, these LMs can compete with, and sometimes outperform, SOTA LLMs like DeepSeek-v2, GPT-3.5-Turbo, and GPT-4o.