Evaluación de las Evaluaciones de Modelos de Lenguaje sobre Juegos

Resumen

El razonamiento no se trata únicamente de resolver problemas, sino también de evaluar qué problemas vale la pena resolver. Las evaluaciones de los sistemas de inteligencia artificial (IA) se han centrado principalmente en la resolución de problemas, históricamente mediante el estudio de cómo los modelos juegan partidas de ajedrez o Go. En este artículo, abogamos por un nuevo paradigma que evalúe la capacidad de los sistemas de IA para evaluar juegos. En primer lugar, introducimos un formalismo para evaluar dichas evaluaciones. Luego, utilizamos un conjunto de datos a gran escala que incluye más de 100 juegos de mesa novedosos y más de 450 juicios humanos para comparar las evaluaciones producidas por modelos modernos de lenguaje y razonamiento con las de personas y agentes computacionales simbólicos. Consideramos dos tipos de consultas evaluativas: la valoración de la recompensa (o equidad) y la diversión de los juegos. Estas consultas abarcan dos dimensiones relevantes para el diseño de evaluaciones de IA: la complejidad computacional de la consulta y la dificultad de cuantificarla. Nuestros resultados muestran que los modelos de razonamiento están generalmente más alineados con las personas en sus evaluaciones de juegos que los modelos de lenguaje no razonantes. Sin embargo, observamos una relación no monótona: a medida que los modelos se acercan al óptimo teórico del juego, su ajuste a los datos humanos se debilita. También observamos una mayor "irregularidad" entre los modelos al evaluar la diversión, en línea con la mayor dificultad de cuantificar esta consulta. En todas las consultas y juegos, los modelos de razonamiento muestran un uso de recursos altamente variable e impredecible al evaluar consultas, lo que señala la importancia de incorporar un meta-razonamiento más racional en cuanto a recursos en los modelos de lenguaje y razonamiento.

English

Reasoning is not just about solving problems -- it is also about evaluating which problems are worth solving at all. Evaluations of artificial intelligence (AI) systems primarily focused on problem solving, historically by studying how models play games such as chess and Go. In this paper, we advocate for a new paradigm that assesses AI systems' evaluation of games. First, we introduce a formalism for evaluating such evaluations. We then leverage a large-scale dataset of over 100 novel board games and over 450 human judgments to compare evaluations produced by modern language and reasoning models against those of people and symbolic computational agents. We consider two kinds of evaluative queries: assessing the payoff (or fairness) and the funness of games. These queries span two dimensions relevant to the design of evaluations of AI evaluations: how complex a query is to compute and how difficult a query is to quantify. Our results show that reasoning models are generally more aligned to people in their evaluations of games than non-reasoning language models. However, we observe a non-monotonic relationship: as models get closer to game-theoretic optimal, their fit to human data weakens. We also observe more "jaggedness" across models for assessing funness, in line with the greater difficulty of quantifying this query. Across queries and games, reasoning models show highly variable and unpredictable resource usage when assessing queries, pointing to the importance of imbuing more resource-rational meta-reasoning in language and reasoning models.

Evaluación de las Evaluaciones de Modelos de Lenguaje sobre Juegos

Evaluating Language Models' Evaluations of Games

Resumen

Support