¿Cuántos parámetros se necesitan para cambiar una bombilla? Evaluación del rendimiento en juegos conversacionales de autojuego en función de las características del modelo

How Many Parameters Does it Take to Change a Light Bulb? Evaluating Performance in Self-Play of Conversational Games as a Function of Model Characteristics

June 20, 2024

Autores: Nidhir Bhavsar, Jonathan Jordan, Sherzod Hakimov, David Schlangen

cs.AI

Resumen

¿Qué hace que un modelo de lenguaje grande (LLM, por sus siglas en inglés) sea bueno? Que tenga un buen desempeño en los benchmarks relevantes, los cuales, idealmente, miden con cierta validez la presencia de capacidades que también se ponen a prueba en aplicaciones reales. Pero, ¿qué hace que el modelo tenga un buen desempeño? ¿Qué le otorga a un modelo sus habilidades? Tomamos un tipo de benchmark introducido recientemente que está diseñado para desafiar capacidades en un contexto dirigido a objetivos y agentivo a través del autojuego de juegos conversacionales, y analizamos cómo se desarrolla el desempeño en función de características del modelo, como el número de parámetros o el tipo de entrenamiento. Encontramos que, si bien existe una relación clara entre el número de parámetros y el desempeño, todavía hay una amplia dispersión de puntos de desempeño dentro de un rango de tamaño determinado, lo cual puede explicarse por parámetros de entrenamiento como la calidad y el método de los datos de fine-tuning. Desde un ángulo más práctico, también encontramos cierto grado de impredecibilidad en el desempeño entre diferentes métodos de acceso, posiblemente debido a parámetros de muestreo no expuestos, y una estabilidad de desempeño, muy bienvenida, frente a una cuantización moderada de los pesos durante la inferencia.

English

What makes a good Large Language Model (LLM)? That it performs well on the relevant benchmarks -- which hopefully measure, with some validity, the presence of capabilities that are also challenged in real application. But what makes the model perform well? What gives a model its abilities? We take a recently introduced type of benchmark that is meant to challenge capabilities in a goal-directed, agentive context through self-play of conversational games, and analyse how performance develops as a function of model characteristics like number of parameters, or type of training. We find that while there is a clear relationship between number of parameters and performance, there is still a wide spread of performance points within a given size bracket, which is to be accounted for by training parameters such as fine-tuning data quality and method. From a more practical angle, we also find a certain degree of unpredictability about performance across access methods, possible due to unexposed sampling parameters, and a, very welcome, performance stability against at least moderate weight quantisation during inference.