Оценка оценок языковых моделей в контексте игр

Аннотация

Рассуждение — это не только решение задач, но и оценка того, какие задачи вообще стоит решать. Исторически оценка систем искусственного интеллекта (ИИ) в основном сосредотачивалась на решении задач, например, на изучении того, как модели играют в такие игры, как шахматы и го. В этой статье мы предлагаем новую парадигму, которая оценивает способность систем ИИ оценивать игры. Сначала мы вводим формализм для оценки таких оценок. Затем мы используем масштабный набор данных, включающий более 100 новых настольных игр и более 450 человеческих суждений, чтобы сравнить оценки, созданные современными языковыми и моделями рассуждений, с оценками людей и символических вычислительных агентов. Мы рассматриваем два типа оценочных запросов: оценку выигрыша (или справедливости) и увлекательности игр. Эти запросы охватывают два аспекта, важных для разработки оценок ИИ: насколько сложен запрос для вычисления и насколько трудно его количественно оценить. Наши результаты показывают, что модели рассуждений в целом более согласованы с людьми в оценке игр, чем языковые модели, не ориентированные на рассуждения. Однако мы наблюдаем немонотонную зависимость: по мере того, как модели приближаются к теоретико-игровому оптимуму, их соответствие человеческим данным ослабевает. Мы также отмечаем большую "неровность" в оценке увлекательности моделями, что согласуется с большей сложностью количественной оценки этого запроса. В различных запросах и играх модели рассуждений демонстрируют высокую изменчивость и непредсказуемость использования ресурсов при оценке запросов, что подчеркивает важность внедрения более ресурсно-рационального мета-рассуждения в языковые и модели рассуждений.

English

Reasoning is not just about solving problems -- it is also about evaluating which problems are worth solving at all. Evaluations of artificial intelligence (AI) systems primarily focused on problem solving, historically by studying how models play games such as chess and Go. In this paper, we advocate for a new paradigm that assesses AI systems' evaluation of games. First, we introduce a formalism for evaluating such evaluations. We then leverage a large-scale dataset of over 100 novel board games and over 450 human judgments to compare evaluations produced by modern language and reasoning models against those of people and symbolic computational agents. We consider two kinds of evaluative queries: assessing the payoff (or fairness) and the funness of games. These queries span two dimensions relevant to the design of evaluations of AI evaluations: how complex a query is to compute and how difficult a query is to quantify. Our results show that reasoning models are generally more aligned to people in their evaluations of games than non-reasoning language models. However, we observe a non-monotonic relationship: as models get closer to game-theoretic optimal, their fit to human data weakens. We also observe more "jaggedness" across models for assessing funness, in line with the greater difficulty of quantifying this query. Across queries and games, reasoning models show highly variable and unpredictable resource usage when assessing queries, pointing to the importance of imbuing more resource-rational meta-reasoning in language and reasoning models.

Оценка оценок языковых моделей в контексте игр

Evaluating Language Models' Evaluations of Games

Аннотация

Support