LLM 사전학습에서의 도메인 데이터 반복 스케일링

초록

대규모 언어 모델이 확장됨에 따라 적절한 토큰-파라미터 비율(TPP)을 유지하기 위해 학습 토큰 예산도 함께 증가해야 한다. 그러나 고품질 도메인 데이터는 일반 웹 데이터보다 확장하기가 훨씬 어렵다. 모델 크기와 학습 토큰 예산이 증가하면 학습 혼합물에서 도메인 데이터가 차지하는 비율은 감소하는 경향이 있다. 사용 가능한 고품질 데이터를 반복하는 것은 이러한 희석 효과를 상쇄하는 효과적인 방법이지만, 과도한 반복은 과적합으로 이어질 수 있다. 우리는 학습 토큰 예산이 모델 크기에 비례하여 증가하는 실제적인 LLM 확장 조건에서 이러한 절충 관계를 연구한다. 고정된 도메인의 경우, 놀랍게도 고정된 TPP에서 최적 반복 횟수는 모델 크기에 따라 약간 증가하는 것을 발견했다. 여러 도메인에 걸쳐서는 최적 반복 횟수가 도메인의 최종 검증 손실과 강한 음의 상관관계를 보인다. 즉, 손실이 낮은 도메인은 일반적으로 더 많은 반복으로부터 이점을 얻을 수 있다. 반면, 고유 도메인 데이터의 양은 최적 반복 횟수와 약한 관련성만을 가진다. 이러한 발견은 동일한 TPP를 가진 더 작은 대리 모델에서 조정된 반복 횟수가 더 큰 모델에 대한 실용적인 추정치를 제공할 수 있음을 시사한다.

English

As large language models scale, their training-token budgets must also increase to maintain an appropriate tokens-per-parameter ratio (\(TPP\)). However, high-quality domain data is much harder to scale than general web data. As model size and the training-token budget increase, its fraction in the training mixture tends to decrease. Repeating the available high-quality data provides an effective way to counteract this dilution, but excessive repetition may lead to overfitting. We study this trade-off under practical LLM scaling, where the training-token budget grows proportionally with model size. For a fixed domain, we first find that, surprisingly at a fixed \(TPP\), the optimal repetition count mildly increases with model size. Across different domains, we find that the optimal repetition count is strongly negatively correlated with the final validation loss of a domain: domains with lower loss can generally benefit from more repetitions. In contrast, the amount of unique domain data is only weakly related to the optimal repetition count. These findings suggest that repetition counts tuned on smaller proxy models with the same \(TPP\) can provide a practical estimate for larger models.