Hoeveel parameters zijn er nodig om een lamp te vervangen? Evaluatie van prestaties in zelfspel van conversatiespellen als functie van modelkenmerken
How Many Parameters Does it Take to Change a Light Bulb? Evaluating Performance in Self-Play of Conversational Games as a Function of Model Characteristics
June 20, 2024
Auteurs: Nidhir Bhavsar, Jonathan Jordan, Sherzod Hakimov, David Schlangen
cs.AI
Samenvatting
Wat maakt een goed Large Language Model (LLM)? Dat het goed presteert op de relevante benchmarks – die hopelijk met enige validiteit meten of de capaciteiten aanwezig zijn die ook in echte toepassingen worden uitgedaagd. Maar wat zorgt ervoor dat het model goed presteert? Wat geeft een model zijn vaardigheden? We nemen een recent geïntroduceerd type benchmark dat bedoeld is om capaciteiten uit te dagen in een doelgericht, agentief context door middel van zelfspel van conversatiespellen, en analyseren hoe de prestaties zich ontwikkelen als functie van modelkenmerken zoals het aantal parameters of het type training. We constateren dat er weliswaar een duidelijk verband bestaat tussen het aantal parameters en de prestaties, maar dat er binnen een gegeven groottecategorie nog steeds een grote spreiding van prestatiepunten is, wat verklaard kan worden door trainingsparameters zoals de kwaliteit en methode van fine-tuning. Vanuit een meer praktisch perspectief vinden we ook een zekere mate van onvoorspelbaarheid in prestaties tussen verschillende toegangsmethoden, mogelijk door onbekende samplingparameters, en een zeer welkome prestatiestabiliteit tegen ten minste matige gewichtskwantisatie tijdens inferentie.
English
What makes a good Large Language Model (LLM)? That it performs well on the
relevant benchmarks -- which hopefully measure, with some validity, the
presence of capabilities that are also challenged in real application. But what
makes the model perform well? What gives a model its abilities? We take a
recently introduced type of benchmark that is meant to challenge capabilities
in a goal-directed, agentive context through self-play of conversational games,
and analyse how performance develops as a function of model characteristics
like number of parameters, or type of training. We find that while there is a
clear relationship between number of parameters and performance, there is still
a wide spread of performance points within a given size bracket, which is to be
accounted for by training parameters such as fine-tuning data quality and
method. From a more practical angle, we also find a certain degree of
unpredictability about performance across access methods, possible due to
unexposed sampling parameters, and a, very welcome, performance stability
against at least moderate weight quantisation during inference.