Propriedades emergentes com exemplos repetidos

Emergent properties with repeated examples

October 9, 2024

Autores: François Charton, Julia Kempe

cs.AI

Resumo

Estudamos o desempenho dos transformadores em função do número de repetições de exemplos de treinamento com conjuntos de dados gerados algoritmicamente. Em três problemas de matemática - o maior divisor comum, multiplicação modular e autovalores de matriz - mostramos que, para um número fixo de etapas de treinamento, modelos treinados em conjuntos menores de exemplos repetidos superam modelos treinados em conjuntos maiores de exemplos de uso único. Também demonstramos que o treinamento de dois conjuntos - uso repetido de um pequeno subconjunto aleatório de exemplos, juntamente com amostragem normal no restante do conjunto de treinamento - proporciona aprendizado mais rápido e melhor desempenho. Isso destaca que os benefícios da repetição podem superar os da diversidade de dados. Esses conjuntos de dados e problemas fornecem um ambiente controlado para lançar luz sobre a interação ainda pouco compreendida entre generalização e memorização em aprendizado profundo.

English

We study the performance of transformers as a function of the number of repetitions of training examples with algorithmically generated datasets. On three problems of mathematics: the greatest common divisor, modular multiplication, and matrix eigenvalues, we show that for a fixed number of training steps, models trained on smaller sets of repeated examples outperform models trained on larger sets of single-use examples. We also demonstrate that two-set training - repeated use of a small random subset of examples, along normal sampling on the rest of the training set - provides for faster learning and better performance. This highlights that the benefits of repetition can outweigh those of data diversity. These datasets and problems provide a controlled setting to shed light on the still poorly understood interplay between generalization and memorization in deep learning.