보편적 예측자 학습

초록

메타러닝은 제한된 데이터로부터 새로운 작업을 빠르게 학습하도록 신경망을 훈련시키는 강력한 접근법으로 부상했다. 다양한 작업에 대한 광범위한 노출은 일반적인 문제 해결을 가능하게 하는 다재다능한 표현을 이끌어낸다. 그러나 메타러닝의 한계는 무엇인가? 본 연구에서는 가장 강력한 범용 예측기인 솔로모노프 인덕션(Solomonoff Induction, SI)을 메타러닝의 한계까지 활용하여 신경망에 분할 적용하는 가능성을 탐구한다. 우리는 범용 튜링 머신(Universal Turing Machines, UTMs)을 사용하여 네트워크가 다양한 패턴에 노출될 수 있도록 훈련 데이터를 생성한다. UTM 데이터 생성 과정과 메타 훈련 프로토콜에 대한 이론적 분석을 제공한다. 또한, 다양한 복잡성과 보편성을 가진 알고리즘 데이터 생성기와 신경망 아키텍처(예: LSTM, 트랜스포머)를 활용한 포괄적인 실험을 수행한다. 우리의 결과는 UTM 데이터가 메타러닝에 있어 가치 있는 자원이며, 이를 통해 범용 예측 전략을 학습할 수 있는 신경망을 훈련시키는 데 사용될 수 있음을 시사한다.

English

Meta-learning has emerged as a powerful approach to train neural networks to learn new tasks quickly from limited data. Broad exposure to different tasks leads to versatile representations enabling general problem solving. But, what are the limits of meta-learning? In this work, we explore the potential of amortizing the most powerful universal predictor, namely Solomonoff Induction (SI), into neural networks via leveraging meta-learning to its limits. We use Universal Turing Machines (UTMs) to generate training data used to expose networks to a broad range of patterns. We provide theoretical analysis of the UTM data generation processes and meta-training protocols. We conduct comprehensive experiments with neural architectures (e.g. LSTMs, Transformers) and algorithmic data generators of varying complexity and universality. Our results suggest that UTM data is a valuable resource for meta-learning, and that it can be used to train neural networks capable of learning universal prediction strategies.

보편적 예측자 학습

Learning Universal Predictors

초록

Support