Apprentissage des règles latentes d'un jeu à partir de données : une histoire d'échecs

Learning the Latent Rules of a Game from Data: A Chess Story

October 3, 2024

Auteurs: Ben Fauber

cs.AI

Résumé

Nous démontrons que de petits modèles de langage génératif pré-entraînés avec des millions de paramètres peuvent apprendre les règles latentes d'un processus à partir des données associées audit processus. Inspirés par la nouvelle de Stefan Zweig "Schachnovelle," également connue sous le nom de "The Royal Game" en anglais, nous montrons que des petits modèles de langage fondamentaux pré-entraînés avec 28M et 125M de paramètres peuvent être affinés par instruction avec 1 000 à 1 000 000 exemples pour apprendre les règles des échecs, proposer des coups légaux et résoudre avec précision des problèmes d'échecs. Nous explorons également l'impact des époques successives d'affinage du modèle de langage sur des résultats améliorés et démontrons des réductions des hallucinations du modèle en augmentant le nombre d'exemples d'affinage par instruction.

English

We demonstrate that small pretrained foundational generative language models with millions of parameters can learn the latent rules of a process from data associated with the process. Inspired by Stefan Zweig's novella "Schachnovelle," also known as "The Royal Game" in English, we show that 28M and 125M parameter pretrained foundational small language models (SLMs) can be instruction fine-tuned with 1,000-to-1,000,000 examples to learn the rules of chess, propose legal moves, and accurately solve chess problems. We also explore the impact of successive language model fine-tuning epochs on improved outcomes and demonstrate reductions in model hallucinations by increasing the number of instruction fine-tuning examples.