Évaluation des modèles de langage ouverts à travers les types de tâches, domaines d'application et types de raisonnement : une analyse expérimentale approfondie

Evaluating Open Language Models Across Task Types, Application Domains, and Reasoning Types: An In-Depth Experimental Analysis

June 17, 2024

Auteurs: Neelabh Sinha, Vinija Jain, Aman Chadha

cs.AI

Résumé

L'essor rapide des modèles de langage (LMs) a étendu leur utilisation à plusieurs applications. Cependant, en raison des contraintes liées à la taille des modèles, aux coûts associés ou aux restrictions propriétaires, l'utilisation des modèles de langage de pointe (SOTA) n'est pas toujours réalisable. Avec l'émergence de modèles de langage ouverts et plus petits, davantage d'applications peuvent tirer parti de leurs capacités, mais sélectionner le bon modèle de langage peut s'avérer complexe. Ce travail propose une analyse expérimentale approfondie de la correction sémantique des sorties de 10 modèles de langage ouverts et plus petits, à travers trois aspects : les types de tâches, les domaines d'application et les types de raisonnement, en utilisant divers styles d'invites. Nous démontrons que les modèles et les styles d'invite les plus efficaces varient en fonction des exigences spécifiques. Notre analyse fournit une évaluation comparative des modèles de langage et des styles d'invite en utilisant un schéma à trois niveaux d'aspects pour leur sélection stratégique basée sur les cas d'utilisation et d'autres contraintes. Nous montrons également que, s'ils sont utilisés de manière appropriée, ces modèles de langage peuvent rivaliser, et parfois surpasser, les modèles de pointe comme DeepSeek-v2, GPT-3.5-Turbo et GPT-4o.

English

The rapid rise of Language Models (LMs) has expanded their use in several applications. Yet, due to constraints of model size, associated cost, or proprietary restrictions, utilizing state-of-the-art (SOTA) LLMs is not always feasible. With open, smaller LMs emerging, more applications can leverage their capabilities, but selecting the right LM can be challenging. This work conducts an in-depth experimental analysis of the semantic correctness of outputs of 10 smaller, open LMs across three aspects: task types, application domains and reasoning types, using diverse prompt styles. We demonstrate that most effective models and prompt styles vary depending on the specific requirements. Our analysis provides a comparative assessment of LMs and prompt styles using a proposed three-tier schema of aspects for their strategic selection based on use-case and other constraints. We also show that if utilized appropriately, these LMs can compete with, and sometimes outperform, SOTA LLMs like DeepSeek-v2, GPT-3.5-Turbo, and GPT-4o.