Wie viele Parameter benötigt es, um eine Glühbirne zu wechseln? Bewertung der Leistung im Selbstspiel von Konversationspielen in Abhängigkeit von den Modellcharakteristika.

How Many Parameters Does it Take to Change a Light Bulb? Evaluating Performance in Self-Play of Conversational Games as a Function of Model Characteristics

June 20, 2024

Autoren: Nidhir Bhavsar, Jonathan Jordan, Sherzod Hakimov, David Schlangen

cs.AI

Zusammenfassung

Was macht ein gutes Large Language Model (LLM) aus? Dass es gut auf den relevanten Benchmarks abschneidet - die hoffentlich die Vorhandensein von Fähigkeiten messen, die auch in realen Anwendungen herausgefordert werden. Aber was lässt das Modell gut abschneiden? Was verleiht einem Modell seine Fähigkeiten? Wir nehmen einen kürzlich eingeführten Benchmark-Typ, der darauf abzielt, Fähigkeiten in einem zielgerichteten, agentiven Kontext durch Selbstspiel von Konversationspielen herauszufordern, und analysieren, wie sich die Leistung in Abhängigkeit von Modellmerkmalen wie der Anzahl der Parameter oder dem Trainingstyp entwickelt. Wir stellen fest, dass zwar eine klare Beziehung zwischen der Anzahl der Parameter und der Leistung besteht, es jedoch immer noch eine breite Streuung von Leistungspunkten innerhalb einer bestimmten Größenklasse gibt, die durch Trainingsparameter wie die Qualität der Feinabstimmungsdaten und -methode berücksichtigt werden muss. Aus einer praktischeren Perspektive heraus stellen wir auch ein gewisses Maß an Unvorhersehbarkeit hinsichtlich der Leistung über verschiedene Zugriffsmethoden fest, möglicherweise aufgrund nicht offengelegter Abtastparameter, sowie eine sehr willkommene Leistungsstabilität gegen zumindest moderate Gewichtsquantisierung während der Inferenz.

English

What makes a good Large Language Model (LLM)? That it performs well on the relevant benchmarks -- which hopefully measure, with some validity, the presence of capabilities that are also challenged in real application. But what makes the model perform well? What gives a model its abilities? We take a recently introduced type of benchmark that is meant to challenge capabilities in a goal-directed, agentive context through self-play of conversational games, and analyse how performance develops as a function of model characteristics like number of parameters, or type of training. We find that while there is a clear relationship between number of parameters and performance, there is still a wide spread of performance points within a given size bracket, which is to be accounted for by training parameters such as fine-tuning data quality and method. From a more practical angle, we also find a certain degree of unpredictability about performance across access methods, possible due to unexposed sampling parameters, and a, very welcome, performance stability against at least moderate weight quantisation during inference.