Escala Inversa: Quando Maior Não Significa Melhor

Inverse Scaling: When Bigger Isn't Better

June 15, 2023

Autores: Ian R. McKenzie, Alexander Lyzhov, Michael Pieler, Alicia Parrish, Aaron Mueller, Ameya Prabhu, Euan McLean, Aaron Kirtland, Alexis Ross, Alisa Liu, Andrew Gritsevskiy, Daniel Wurgaft, Derik Kauffman, Gabriel Recchia, Jiacheng Liu, Joe Cavanagh, Max Weiss, Sicong Huang, The Floating Droid, Tom Tseng, Tomasz Korbak, Xudong Shen, Yuhui Zhang, Zhengping Zhou, Najoung Kim, Samuel R. Bowman, Ethan Perez

cs.AI

Resumo

Pesquisas sobre leis de escalonamento descobriram que modelos de linguagem de grande porte (LMs) apresentam melhorias previsíveis na perda geral com o aumento da escala (tamanho do modelo, dados de treinamento e capacidade computacional). Aqui, apresentamos evidências para a afirmação de que LMs podem exibir escalonamento inverso, ou seja, pior desempenho em tarefas com o aumento da escala, por exemplo, devido a falhas no objetivo de treinamento e nos dados. Apresentamos evidências empíricas de escalonamento inverso em 11 conjuntos de dados coletados por meio de um concurso público, o Inverse Scaling Prize, com um prêmio substancial. Através da análise desses conjuntos de dados, juntamente com outros exemplos encontrados na literatura, identificamos quatro causas potenciais para o escalonamento inverso: (i) preferência por repetir sequências memorizadas em vez de seguir instruções no contexto, (ii) imitação de padrões indesejáveis nos dados de treinamento, (iii) tarefas que contêm uma tarefa distratora fácil na qual os LMs podem se concentrar, em vez da tarefa real mais difícil, e (iv) demonstrações corretas, mas enganosas, de poucos exemplos da tarefa. Disponibilizamos os conjuntos de dados vencedores em https://inversescaling.com/data para permitir investigações adicionais sobre o escalonamento inverso. Nossas tarefas ajudaram a impulsionar a descoberta de tendências de escalonamento em forma de U e U invertido, onde uma tendência inicial se reverte, sugerindo que as tendências de escalonamento são menos confiáveis para prever o comportamento de modelos em maior escala do que se entendia anteriormente. No geral, nossos resultados sugerem que existem tarefas para as quais o aumento da escala do modelo por si só pode não levar a progressos, e que é necessário um pensamento mais cuidadoso sobre os dados e objetivos para o treinamento de modelos de linguagem.

English

Work on scaling laws has found that large language models (LMs) show predictable improvements to overall loss with increased scale (model size, training data, and compute). Here, we present evidence for the claim that LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool. Through analysis of the datasets, along with other examples found in the literature, we identify four potential causes of inverse scaling: (i) preference to repeat memorized sequences over following in-context instructions, (ii) imitation of undesirable patterns in the training data, (iii) tasks containing an easy distractor task which LMs could focus on, rather than the harder real task, and (iv) correct but misleading few-shot demonstrations of the task. We release the winning datasets at https://inversescaling.com/data to allow for further investigation of inverse scaling. Our tasks have helped drive the discovery of U-shaped and inverted-U scaling trends, where an initial trend reverses, suggesting that scaling trends are less reliable at predicting the behavior of larger-scale models than previously understood. Overall, our results suggest that there are tasks for which increased model scale alone may not lead to progress, and that more careful thought needs to go into the data and objectives for training language models.