Combien de paramètres faut-il pour changer une ampoule ? Évaluer les performances dans les jeux conversationnels en auto-joueur en fonction des caractéristiques du modèle

How Many Parameters Does it Take to Change a Light Bulb? Evaluating Performance in Self-Play of Conversational Games as a Function of Model Characteristics

June 20, 2024

Auteurs: Nidhir Bhavsar, Jonathan Jordan, Sherzod Hakimov, David Schlangen

cs.AI

Résumé

Qu'est-ce qui fait un bon modèle de langage à grande échelle (LLM) ? Qu'il obtienne de bons résultats sur les benchmarks pertinents - qui, espérons-le, mesurent avec une certaine validité la présence de capacités également mises à l'épreuve dans des applications réelles. Mais qu'est-ce qui permet au modèle de bien performer ? Qu'est-ce qui confère à un modèle ses capacités ? Nous prenons un type de benchmark récemment introduit, conçu pour tester les capacités dans un contexte orienté vers un objectif et agentif à travers des jeux conversationnels en auto-joué, et nous analysons comment la performance évolue en fonction des caractéristiques du modèle, comme le nombre de paramètres ou le type d'entraînement. Nous constatons que, bien qu'il existe une relation claire entre le nombre de paramètres et la performance, il y a encore une grande dispersion des points de performance au sein d'une tranche de taille donnée, ce qui s'explique par des paramètres d'entraînement tels que la qualité et la méthode de fine-tuning des données. D'un point de vue plus pratique, nous observons également un certain degré d'imprévisibilité concernant la performance selon les méthodes d'accès, possiblement dû à des paramètres d'échantillonnage non exposés, ainsi qu'une stabilité de performance, très appréciable, face à au moins une quantification modérée des poids lors de l'inférence.

English

What makes a good Large Language Model (LLM)? That it performs well on the relevant benchmarks -- which hopefully measure, with some validity, the presence of capabilities that are also challenged in real application. But what makes the model perform well? What gives a model its abilities? We take a recently introduced type of benchmark that is meant to challenge capabilities in a goal-directed, agentive context through self-play of conversational games, and analyse how performance develops as a function of model characteristics like number of parameters, or type of training. We find that while there is a clear relationship between number of parameters and performance, there is still a wide spread of performance points within a given size bracket, which is to be accounted for by training parameters such as fine-tuning data quality and method. From a more practical angle, we also find a certain degree of unpredictability about performance across access methods, possible due to unexposed sampling parameters, and a, very welcome, performance stability against at least moderate weight quantisation during inference.