Bewertung von offenen Sprachmodellen über verschiedene Aufgabentypen, Anwendungsbereiche und Arten des Schlussfolgerns: Eine eingehende experimentelle Analyse

Evaluating Open Language Models Across Task Types, Application Domains, and Reasoning Types: An In-Depth Experimental Analysis

June 17, 2024

Autoren: Neelabh Sinha, Vinija Jain, Aman Chadha

cs.AI

Zusammenfassung

Der rasante Aufstieg von Sprachmodellen (LMs) hat ihren Einsatz in mehreren Anwendungen erweitert. Dennoch ist es aufgrund von Beschränkungen hinsichtlich Modellgröße, damit verbundenen Kosten oder proprietären Einschränkungen nicht immer machbar, hochmoderne (SOTA) große Sprachmodelle zu nutzen. Mit dem Aufkommen offener, kleinerer LMs können mehr Anwendungen von ihren Fähigkeiten profitieren, aber die Auswahl des richtigen LMs kann eine Herausforderung darstellen. Diese Arbeit führt eine eingehende experimentelle Analyse der semantischen Korrektheit der Ausgaben von 10 kleineren, offenen LMs in Bezug auf drei Aspekte durch: Aufgabentypen, Anwendungsbereiche und Arten des Schlussfolgerns, unter Verwendung verschiedener Eingabe-Stile. Wir zeigen, dass die effektivsten Modelle und Eingabe-Stile je nach spezifischen Anforderungen variieren. Unsere Analyse bietet eine vergleichende Bewertung von LMs und Eingabe-Stilen unter Verwendung eines vorgeschlagenen dreistufigen Schemas von Aspekten für ihre strategische Auswahl basierend auf Anwendungsfällen und anderen Einschränkungen. Wir zeigen auch, dass diese LMs, wenn sie angemessen genutzt werden, mit SOTA LMs wie DeepSeek-v2, GPT-3.5-Turbo und GPT-4o konkurrieren können und diese manchmal übertreffen können.

English

The rapid rise of Language Models (LMs) has expanded their use in several applications. Yet, due to constraints of model size, associated cost, or proprietary restrictions, utilizing state-of-the-art (SOTA) LLMs is not always feasible. With open, smaller LMs emerging, more applications can leverage their capabilities, but selecting the right LM can be challenging. This work conducts an in-depth experimental analysis of the semantic correctness of outputs of 10 smaller, open LMs across three aspects: task types, application domains and reasoning types, using diverse prompt styles. We demonstrate that most effective models and prompt styles vary depending on the specific requirements. Our analysis provides a comparative assessment of LMs and prompt styles using a proposed three-tier schema of aspects for their strategic selection based on use-case and other constraints. We also show that if utilized appropriately, these LMs can compete with, and sometimes outperform, SOTA LLMs like DeepSeek-v2, GPT-3.5-Turbo, and GPT-4o.