Avaliação de Modelos de Linguagem Aberta em Diferentes Tipos de Tarefas, Domínios de Aplicação e Tipos de Raciocínio: Uma Análise Experimental Detalhada

Evaluating Open Language Models Across Task Types, Application Domains, and Reasoning Types: An In-Depth Experimental Analysis

June 17, 2024

Autores: Neelabh Sinha, Vinija Jain, Aman Chadha

cs.AI

Resumo

O rápido crescimento dos Modelos de Linguagem (LMs) expandiu seu uso em diversas aplicações. No entanto, devido a restrições de tamanho do modelo, custos associados ou limitações proprietárias, a utilização de LMs de última geração (SOTA) nem sempre é viável. Com o surgimento de LMs menores e abertos, mais aplicações podem aproveitar suas capacidades, mas a seleção do LM adequado pode ser desafiadora. Este trabalho realiza uma análise experimental detalhada da correção semântica das saídas de 10 LMs menores e abertos em três aspectos: tipos de tarefas, domínios de aplicação e tipos de raciocínio, utilizando diversos estilos de prompt. Demonstramos que os modelos e estilos de prompt mais eficazes variam dependendo dos requisitos específicos. Nossa análise fornece uma avaliação comparativa dos LMs e estilos de prompt usando um esquema proposto de três níveis de aspectos para sua seleção estratégica com base no caso de uso e outras restrições. Também mostramos que, se utilizados adequadamente, esses LMs podem competir e, às vezes, superar LMs SOTA como DeepSeek-v2, GPT-3.5-Turbo e GPT-4o.

English

The rapid rise of Language Models (LMs) has expanded their use in several applications. Yet, due to constraints of model size, associated cost, or proprietary restrictions, utilizing state-of-the-art (SOTA) LLMs is not always feasible. With open, smaller LMs emerging, more applications can leverage their capabilities, but selecting the right LM can be challenging. This work conducts an in-depth experimental analysis of the semantic correctness of outputs of 10 smaller, open LMs across three aspects: task types, application domains and reasoning types, using diverse prompt styles. We demonstrate that most effective models and prompt styles vary depending on the specific requirements. Our analysis provides a comparative assessment of LMs and prompt styles using a proposed three-tier schema of aspects for their strategic selection based on use-case and other constraints. We also show that if utilized appropriately, these LMs can compete with, and sometimes outperform, SOTA LLMs like DeepSeek-v2, GPT-3.5-Turbo, and GPT-4o.