Aprendiendo las Reglas Latentes de un Juego a partir de Datos: Una Historia de Ajedrez

Learning the Latent Rules of a Game from Data: A Chess Story

October 3, 2024

Autores: Ben Fauber

cs.AI

Resumen

Demostramos que pequeños modelos de lenguaje generativos preentrenados con fundamentos, con millones de parámetros, pueden aprender las reglas latentes de un proceso a partir de datos asociados con dicho proceso. Inspirados por la novela corta de Stefan Zweig "Schachnovelle," también conocida como "The Royal Game" en inglés, mostramos que modelos de lenguaje pequeños preentrenados con 28M y 125M de parámetros pueden ser finamente ajustados con instrucciones utilizando entre 1,000 y 1,000,000 ejemplos para aprender las reglas del ajedrez, proponer movimientos legales y resolver con precisión problemas de ajedrez. También exploramos el impacto de épocas sucesivas de ajuste fino del modelo de lenguaje en los resultados mejorados y demostramos reducciones en las alucinaciones del modelo al aumentar el número de ejemplos de ajuste fino con instrucciones.

English

We demonstrate that small pretrained foundational generative language models with millions of parameters can learn the latent rules of a process from data associated with the process. Inspired by Stefan Zweig's novella "Schachnovelle," also known as "The Royal Game" in English, we show that 28M and 125M parameter pretrained foundational small language models (SLMs) can be instruction fine-tuned with 1,000-to-1,000,000 examples to learn the rules of chess, propose legal moves, and accurately solve chess problems. We also explore the impact of successive language model fine-tuning epochs on improved outcomes and demonstrate reductions in model hallucinations by increasing the number of instruction fine-tuning examples.