전구를 교체하는 데 몇 개의 파라미터가 필요한가? 대화형 게임의 자기주도 학습에서 모델 특성에 따른 성능 평가

How Many Parameters Does it Take to Change a Light Bulb? Evaluating Performance in Self-Play of Conversational Games as a Function of Model Characteristics

June 20, 2024

저자: Nidhir Bhavsar, Jonathan Jordan, Sherzod Hakimov, David Schlangen

cs.AI

초록

좋은 대형 언어 모델(LLM)이란 무엇인가? 그것은 관련 벤치마크에서 잘 수행하는 모델이다. 이 벤치마크는 바라건대 실제 애플리케이션에서도 요구되는 능력의 존재를 어느 정도 타당하게 측정할 수 있어야 한다. 하지만 무엇이 모델이 잘 수행하게 만드는가? 무엇이 모델에 그 능력을 부여하는가? 우리는 최근 도입된 한 유형의 벤치마크를 살펴보는데, 이 벤치마크는 목표 지향적이고 에이전트적인 맥락에서의 능력을 대화형 게임의 자기 주도적 플레이를 통해 평가하도록 설계되었다. 그리고 우리는 모델의 파라미터 수나 훈련 유형과 같은 특성에 따라 성능이 어떻게 발전하는지 분석한다. 우리는 파라미터 수와 성능 사이에 명확한 관계가 있음을 발견했지만, 주어진 크기 범위 내에서도 성능 점수들이 넓게 분포되어 있으며, 이는 미세 조정 데이터의 품질과 방법과 같은 훈련 파라미터에 의해 설명될 수 있다. 더 실용적인 관점에서, 우리는 접근 방법에 따른 성능에 대해 어느 정도 예측 불가능성이 있음을 발견했는데, 이는 노출되지 않은 샘플링 파라미터 때문일 가능성이 있다. 또한, 추론 중에 적어도 중간 정도의 가중치 양자화에 대해 매우 환영할 만한 성능 안정성도 발견했다.

English

What makes a good Large Language Model (LLM)? That it performs well on the relevant benchmarks -- which hopefully measure, with some validity, the presence of capabilities that are also challenged in real application. But what makes the model perform well? What gives a model its abilities? We take a recently introduced type of benchmark that is meant to challenge capabilities in a goal-directed, agentive context through self-play of conversational games, and analyse how performance develops as a function of model characteristics like number of parameters, or type of training. We find that while there is a clear relationship between number of parameters and performance, there is still a wide spread of performance points within a given size bracket, which is to be accounted for by training parameters such as fine-tuning data quality and method. From a more practical angle, we also find a certain degree of unpredictability about performance across access methods, possible due to unexposed sampling parameters, and a, very welcome, performance stability against at least moderate weight quantisation during inference.