다양한 작업 유형, 응용 분야 및 추론 유형에 걸친 오픈 언어 모델 평가: 심층 실험적 분석

Evaluating Open Language Models Across Task Types, Application Domains, and Reasoning Types: An In-Depth Experimental Analysis

June 17, 2024

저자: Neelabh Sinha, Vinija Jain, Aman Chadha

cs.AI

초록

언어 모델(Language Models, LMs)의 급속한 발전으로 인해 여러 응용 분야에서의 활용이 확대되고 있습니다. 그러나 모델 크기의 제약, 관련 비용, 또는 독점적 제한으로 인해 최첨단(State-of-the-Art, SOTA) 대형 언어 모델(LLMs)을 항상 사용할 수 있는 것은 아닙니다. 공개된 소형 LMs가 등장함에 따라 더 많은 응용 프로그램이 그들의 능력을 활용할 수 있게 되었지만, 적합한 LM을 선택하는 것은 여전히 어려운 과제입니다. 본 연구는 다양한 프롬프트 스타일을 사용하여 10개의 소형 공개 LMs의 출력물을 세 가지 측면(과제 유형, 응용 분야, 추론 유형)에서의 의미적 정확성에 대해 심층적인 실험적 분석을 수행합니다. 우리는 특정 요구 사항에 따라 가장 효과적인 모델과 프롬프트 스타일이 달라짐을 보여줍니다. 본 분석은 사용 사례 및 기타 제약 조건을 기반으로 전략적 선택을 위한 세 단계 스키마를 제안하여 LMs와 프롬프트 스타일의 비교 평가를 제공합니다. 또한, 적절히 활용될 경우 이러한 소형 LMs가 DeepSeek-v2, GPT-3.5-Turbo, GPT-4o와 같은 SOTA LLMs와 경쟁하거나 때로는 더 나은 성능을 발휘할 수 있음을 보여줍니다.

English

The rapid rise of Language Models (LMs) has expanded their use in several applications. Yet, due to constraints of model size, associated cost, or proprietary restrictions, utilizing state-of-the-art (SOTA) LLMs is not always feasible. With open, smaller LMs emerging, more applications can leverage their capabilities, but selecting the right LM can be challenging. This work conducts an in-depth experimental analysis of the semantic correctness of outputs of 10 smaller, open LMs across three aspects: task types, application domains and reasoning types, using diverse prompt styles. We demonstrate that most effective models and prompt styles vary depending on the specific requirements. Our analysis provides a comparative assessment of LMs and prompt styles using a proposed three-tier schema of aspects for their strategic selection based on use-case and other constraints. We also show that if utilized appropriately, these LMs can compete with, and sometimes outperform, SOTA LLMs like DeepSeek-v2, GPT-3.5-Turbo, and GPT-4o.