ChessGPT : Relier l'apprentissage de politiques et la modélisation du langage

ChessGPT: Bridging Policy Learning and Language Modeling

June 15, 2023

Auteurs: Xidong Feng, Yicheng Luo, Ziyan Wang, Hongrui Tang, Mengyue Yang, Kun Shao, David Mguni, Yali Du, Jun Wang

cs.AI

Résumé

Lors de la résolution de tâches de prise de décision, les humains s'appuient généralement sur des informations provenant de deux sources clés : (1) Les données historiques de politiques, qui fournissent des relectures d'interactions avec l'environnement, et (2) Les insights analytiques sous forme de langage naturel, révélant le précieux processus de réflexion ou les considérations stratégiques. Malgré cela, la majorité des recherches précédentes se concentrent sur une seule source : elles utilisent soit exclusivement les relectures historiques pour apprendre directement les politiques ou les fonctions de valeur, soit s'engagent dans l'entraînement de modèles de langage en utilisant uniquement des corpus linguistiques. Dans cet article, nous soutenons qu'un agent autonome puissant devrait couvrir ces deux sources. Ainsi, nous proposons ChessGPT, un modèle GPT qui relie l'apprentissage de politiques et la modélisation du langage en intégrant des données provenant de ces deux sources dans les jeux d'échecs. Plus précisément, nous construisons un jeu de données à grande échelle de parties d'échecs et de langage associé. En exploitant ce jeu de données, nous présentons deux exemples de modèles, ChessCLIP et ChessGPT, intégrant l'apprentissage de politiques et la modélisation du langage. Enfin, nous proposons un cadre d'évaluation complet pour évaluer les capacités du modèle de langage dans le domaine des échecs. Les résultats expérimentaux valident l'efficacité de notre modèle et de notre jeu de données. Nous rendons notre code, notre modèle et notre jeu de données open source à l'adresse suivante : https://github.com/waterhorse1/ChessGPT.

English

When solving decision-making tasks, humans typically depend on information from two key sources: (1) Historical policy data, which provides interaction replay from the environment, and (2) Analytical insights in natural language form, exposing the invaluable thought process or strategic considerations. Despite this, the majority of preceding research focuses on only one source: they either use historical replay exclusively to directly learn policy or value functions, or engaged in language model training utilizing mere language corpus. In this paper, we argue that a powerful autonomous agent should cover both sources. Thus, we propose ChessGPT, a GPT model bridging policy learning and language modeling by integrating data from these two sources in Chess games. Specifically, we build a large-scale game and language dataset related to chess. Leveraging the dataset, we showcase two model examples ChessCLIP and ChessGPT, integrating policy learning and language modeling. Finally, we propose a full evaluation framework for evaluating language model's chess ability. Experimental results validate our model and dataset's effectiveness. We open source our code, model, and dataset at https://github.com/waterhorse1/ChessGPT.