Apprentissage de prédicteurs universels

Learning Universal Predictors

January 26, 2024

Auteurs: Jordi Grau-Moya, Tim Genewein, Marcus Hutter, Laurent Orseau, Grégoire Delétang, Elliot Catt, Anian Ruoss, Li Kevin Wenliang, Christopher Mattern, Matthew Aitchison, Joel Veness

cs.AI

Résumé

Le méta-apprentissage est apparu comme une approche puissante pour entraîner des réseaux de neurones à apprendre rapidement de nouvelles tâches à partir de données limitées. Une exposition large à différentes tâches conduit à des représentations polyvalentes permettant une résolution générale de problèmes. Mais quelles sont les limites du méta-apprentissage ? Dans ce travail, nous explorons le potentiel d'amortir le prédicteur universel le plus puissant, à savoir l'induction de Solomonoff (SI), dans les réseaux de neurones en exploitant le méta-apprentissage à ses limites. Nous utilisons des machines de Turing universelles (UTM) pour générer des données d'entraînement permettant d'exposer les réseaux à un large éventail de motifs. Nous fournissons une analyse théorique des processus de génération de données par UTM et des protocoles de méta-entraînement. Nous menons des expériences approfondies avec des architectures neuronales (par exemple, LSTMs, Transformers) et des générateurs de données algorithmiques de complexité et d'universalité variées. Nos résultats suggèrent que les données UTM constituent une ressource précieuse pour le méta-apprentissage et qu'elles peuvent être utilisées pour entraîner des réseaux de neurones capables d'apprendre des stratégies de prédiction universelles.

English

Meta-learning has emerged as a powerful approach to train neural networks to learn new tasks quickly from limited data. Broad exposure to different tasks leads to versatile representations enabling general problem solving. But, what are the limits of meta-learning? In this work, we explore the potential of amortizing the most powerful universal predictor, namely Solomonoff Induction (SI), into neural networks via leveraging meta-learning to its limits. We use Universal Turing Machines (UTMs) to generate training data used to expose networks to a broad range of patterns. We provide theoretical analysis of the UTM data generation processes and meta-training protocols. We conduct comprehensive experiments with neural architectures (e.g. LSTMs, Transformers) and algorithmic data generators of varying complexity and universality. Our results suggest that UTM data is a valuable resource for meta-learning, and that it can be used to train neural networks capable of learning universal prediction strategies.