Valutazione dei Modelli Linguistici Aperti attraverso Tipologie di Compiti, Domini Applicativi e Forme di Ragionamento: Un'Analisi Sperimentale Approfondita

Evaluating Open Language Models Across Task Types, Application Domains, and Reasoning Types: An In-Depth Experimental Analysis

June 17, 2024

Autori: Neelabh Sinha, Vinija Jain, Aman Chadha

cs.AI

Abstract

La rapida ascesa dei Modelli Linguistici (LM) ha ampliato il loro utilizzo in diverse applicazioni. Tuttavia, a causa di vincoli legati alle dimensioni del modello, ai costi associati o a restrizioni proprietarie, non è sempre possibile utilizzare i modelli linguistici più avanzati (SOTA). Con l'emergere di LM più piccoli e aperti, un numero maggiore di applicazioni può sfruttare le loro capacità, ma la selezione del LM più adatto può risultare complessa. Questo lavoro conduce un'analisi sperimentale approfondita della correttezza semantica degli output di 10 LM più piccoli e aperti, considerando tre aspetti: tipi di task, domini applicativi e tipi di ragionamento, utilizzando diversi stili di prompt. Dimostriamo che i modelli e gli stili di prompt più efficaci variano in base ai requisiti specifici. La nostra analisi fornisce una valutazione comparativa dei LM e degli stili di prompt utilizzando uno schema a tre livelli di aspetti per la loro selezione strategica in base al caso d'uso e ad altri vincoli. Mostriamo inoltre che, se utilizzati in modo appropriato, questi LM possono competere e talvolta superare i SOTA LLM come DeepSeek-v2, GPT-3.5-Turbo e GPT-4o.

English

The rapid rise of Language Models (LMs) has expanded their use in several applications. Yet, due to constraints of model size, associated cost, or proprietary restrictions, utilizing state-of-the-art (SOTA) LLMs is not always feasible. With open, smaller LMs emerging, more applications can leverage their capabilities, but selecting the right LM can be challenging. This work conducts an in-depth experimental analysis of the semantic correctness of outputs of 10 smaller, open LMs across three aspects: task types, application domains and reasoning types, using diverse prompt styles. We demonstrate that most effective models and prompt styles vary depending on the specific requirements. Our analysis provides a comparative assessment of LMs and prompt styles using a proposed three-tier schema of aspects for their strategic selection based on use-case and other constraints. We also show that if utilized appropriately, these LMs can compete with, and sometimes outperform, SOTA LLMs like DeepSeek-v2, GPT-3.5-Turbo, and GPT-4o.