Avaliando as Avaliações de Modelos de Linguagem sobre Jogos

Evaluating Language Models' Evaluations of Games

October 13, 2025

Autores: Katherine M. Collins, Cedegao E. Zhang, Graham Todd, Lance Ying, Mauricio Barba da Costa, Ryan Liu, Prafull Sharma, Adrian Weller, Ionatan Kuperwajs, Lionel Wong, Joshua B. Tenenbaum, Thomas L. Griffiths

cs.AI

Resumo

O raciocínio não se trata apenas de resolver problemas — também envolve avaliar quais problemas valem a pena resolver. As avaliações de sistemas de inteligência artificial (IA) tradicionalmente se concentraram na resolução de problemas, historicamente estudando como os modelos jogam games como xadrez e Go. Neste artigo, defendemos um novo paradigma que avalia como os sistemas de IA avaliam os games. Primeiro, introduzimos um formalismo para avaliar tais avaliações. Em seguida, utilizamos um conjunto de dados em larga escala com mais de 100 board games inéditos e mais de 450 julgamentos humanos para comparar as avaliações produzidas por modelos modernos de linguagem e raciocínio com as de pessoas e agentes computacionais simbólicos. Consideramos dois tipos de consultas avaliativas: avaliar o payoff (ou justiça) e a diversão dos games. Essas consultas abrangem duas dimensões relevantes para o design de avaliações de IA: a complexidade computacional da consulta e a dificuldade de quantificá-la. Nossos resultados mostram que os modelos de raciocínio geralmente estão mais alinhados com as pessoas em suas avaliações de games do que os modelos de linguagem sem raciocínio. No entanto, observamos uma relação não monotônica: à medida que os modelos se aproximam do ótimo da teoria dos jogos, sua correspondência com os dados humanos diminui. Também observamos mais "irregularidade" entre os modelos ao avaliar a diversão, alinhado com a maior dificuldade de quantificar essa consulta. Em todas as consultas e games, os modelos de raciocínio mostram uso de recursos altamente variável e imprevisível ao avaliar consultas, destacando a importância de incorporar meta-raciocínio mais racional em termos de recursos em modelos de linguagem e raciocínio.

English

Reasoning is not just about solving problems -- it is also about evaluating which problems are worth solving at all. Evaluations of artificial intelligence (AI) systems primarily focused on problem solving, historically by studying how models play games such as chess and Go. In this paper, we advocate for a new paradigm that assesses AI systems' evaluation of games. First, we introduce a formalism for evaluating such evaluations. We then leverage a large-scale dataset of over 100 novel board games and over 450 human judgments to compare evaluations produced by modern language and reasoning models against those of people and symbolic computational agents. We consider two kinds of evaluative queries: assessing the payoff (or fairness) and the funness of games. These queries span two dimensions relevant to the design of evaluations of AI evaluations: how complex a query is to compute and how difficult a query is to quantify. Our results show that reasoning models are generally more aligned to people in their evaluations of games than non-reasoning language models. However, we observe a non-monotonic relationship: as models get closer to game-theoretic optimal, their fit to human data weakens. We also observe more "jaggedness" across models for assessing funness, in line with the greater difficulty of quantifying this query. Across queries and games, reasoning models show highly variable and unpredictable resource usage when assessing queries, pointing to the importance of imbuing more resource-rational meta-reasoning in language and reasoning models.