普遍的な予測器の学習

要旨

メタ学習は、限られたデータから新しいタスクを迅速に学習するニューラルネットワークを訓練する強力なアプローチとして登場しました。様々なタスクに広く触れることで、汎用的な問題解決を可能にする多様な表現が得られます。しかし、メタ学習の限界とは何でしょうか？本研究では、最も強力な普遍的な予測器であるSolomonoff Induction（SI）を、メタ学習の限界を活用してニューラルネットワークに償却する可能性を探ります。我々は、ユニバーサルチューリングマシン（UTM）を使用して、ネットワークを幅広いパターンにさらすための訓練データを生成します。UTMデータ生成プロセスとメタ訓練プロトコルの理論的分析を提供します。また、LSTMやTransformerなどのニューラルアーキテクチャと、複雑さと普遍性が異なるアルゴリズム的データ生成器を用いた包括的な実験を行います。その結果、UTMデータはメタ学習にとって貴重なリソースであり、普遍的な予測戦略を学習可能なニューラルネットワークを訓練するために使用できることが示唆されました。

English

Meta-learning has emerged as a powerful approach to train neural networks to learn new tasks quickly from limited data. Broad exposure to different tasks leads to versatile representations enabling general problem solving. But, what are the limits of meta-learning? In this work, we explore the potential of amortizing the most powerful universal predictor, namely Solomonoff Induction (SI), into neural networks via leveraging meta-learning to its limits. We use Universal Turing Machines (UTMs) to generate training data used to expose networks to a broad range of patterns. We provide theoretical analysis of the UTM data generation processes and meta-training protocols. We conduct comprehensive experiments with neural architectures (e.g. LSTMs, Transformers) and algorithmic data generators of varying complexity and universality. Our results suggest that UTM data is a valuable resource for meta-learning, and that it can be used to train neural networks capable of learning universal prediction strategies.

普遍的な予測器の学習

Learning Universal Predictors

要旨

Support