역스케일링: 더 크다고 더 좋은 것은 아니다

초록

스케일링 법칙에 대한 연구는 대형 언어 모델(LMs)이 규모(모델 크기, 학습 데이터, 컴퓨팅 자원)가 증가함에 따라 전체 손실이 예측 가능하게 개선된다는 것을 발견했습니다. 본 연구에서는 언어 모델이 규모가 증가함에 따라 역스케일링, 즉 작업 성능이 더 나빠지는 현상을 보일 수 있다는 주장에 대한 증거를 제시합니다. 이는 학습 목표와 데이터의 결함 등으로 인해 발생할 수 있습니다. 우리는 상당한 상금이 걸린 공개 콘테스트인 'Inverse Scaling Prize'를 통해 수집된 11개의 데이터셋에서 역스케일링의 경험적 증거를 제시합니다. 이 데이터셋과 문헌에서 발견된 다른 사례들을 분석하여 역스케일링의 네 가지 잠재적 원인을 확인했습니다: (i) 문맥 내 지시를 따르기보다 기억된 시퀀스를 반복하려는 선호, (ii) 학습 데이터에서 바람직하지 않은 패턴을 모방하는 경향, (iii) 더 어려운 실제 작업 대신 쉬운 방해 작업에 집중할 가능성, (iv) 작업의 올바르지만 오해를 불러일으킬 수 있는 소수 예시(few-shot demonstrations). 우리는 역스케일링에 대한 추가 연구를 위해 수상 데이터셋을 https://inversescaling.com/data 에 공개했습니다. 우리의 작업은 초기 경향이 반전되는 U자형 및 역U자형 스케일링 경향의 발견을 촉진했으며, 이는 스케일링 경향이 대규모 모델의 행동을 예측하는 데 이전에 이해된 것보다 덜 신뢰할 수 있음을 시사합니다. 전반적으로, 우리의 결과는 모델 규모만 증가시켜도 진전을 이룰 수 없는 작업이 존재하며, 언어 모델 학습을 위한 데이터와 목표에 대해 더 신중한 고민이 필요함을 시사합니다.

English

Work on scaling laws has found that large language models (LMs) show predictable improvements to overall loss with increased scale (model size, training data, and compute). Here, we present evidence for the claim that LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool. Through analysis of the datasets, along with other examples found in the literature, we identify four potential causes of inverse scaling: (i) preference to repeat memorized sequences over following in-context instructions, (ii) imitation of undesirable patterns in the training data, (iii) tasks containing an easy distractor task which LMs could focus on, rather than the harder real task, and (iv) correct but misleading few-shot demonstrations of the task. We release the winning datasets at https://inversescaling.com/data to allow for further investigation of inverse scaling. Our tasks have helped drive the discovery of U-shaped and inverted-U scaling trends, where an initial trend reverses, suggesting that scaling trends are less reliable at predicting the behavior of larger-scale models than previously understood. Overall, our results suggest that there are tasks for which increased model scale alone may not lead to progress, and that more careful thought needs to go into the data and objectives for training language models.

역스케일링: 더 크다고 더 좋은 것은 아니다

Inverse Scaling: When Bigger Isn't Better

초록

Support