Evaluación de Modelos de Lenguaje Abiertos en Diferentes Tipos de Tareas, Dominios de Aplicación y Tipos de Razonamiento: Un Análisis Experimental en Profundidad

Evaluating Open Language Models Across Task Types, Application Domains, and Reasoning Types: An In-Depth Experimental Analysis

June 17, 2024

Autores: Neelabh Sinha, Vinija Jain, Aman Chadha

cs.AI

Resumen

El rápido auge de los Modelos de Lenguaje (LMs) ha ampliado su uso en diversas aplicaciones. Sin embargo, debido a limitaciones en el tamaño del modelo, costos asociados o restricciones de propiedad, no siempre es factible utilizar los LMs de última generación (SOTA). Con la aparición de LMs más pequeños y abiertos, más aplicaciones pueden aprovechar sus capacidades, pero seleccionar el LM adecuado puede ser un desafío. Este trabajo realiza un análisis experimental en profundidad de la corrección semántica de las salidas de 10 LMs más pequeños y abiertos, abarcando tres aspectos: tipos de tareas, dominios de aplicación y tipos de razonamiento, utilizando diversos estilos de prompts. Demostramos que los modelos y estilos de prompts más efectivos varían según los requisitos específicos. Nuestro análisis proporciona una evaluación comparativa de LMs y estilos de prompts utilizando un esquema propuesto de tres niveles de aspectos para su selección estratégica basada en el caso de uso y otras restricciones. También mostramos que, si se utilizan adecuadamente, estos LMs pueden competir y, en ocasiones, superar a LMs SOTA como DeepSeek-v2, GPT-3.5-Turbo y GPT-4o.

English

The rapid rise of Language Models (LMs) has expanded their use in several applications. Yet, due to constraints of model size, associated cost, or proprietary restrictions, utilizing state-of-the-art (SOTA) LLMs is not always feasible. With open, smaller LMs emerging, more applications can leverage their capabilities, but selecting the right LM can be challenging. This work conducts an in-depth experimental analysis of the semantic correctness of outputs of 10 smaller, open LMs across three aspects: task types, application domains and reasoning types, using diverse prompt styles. We demonstrate that most effective models and prompt styles vary depending on the specific requirements. Our analysis provides a comparative assessment of LMs and prompt styles using a proposed three-tier schema of aspects for their strategic selection based on use-case and other constraints. We also show that if utilized appropriately, these LMs can compete with, and sometimes outperform, SOTA LLMs like DeepSeek-v2, GPT-3.5-Turbo, and GPT-4o.