LLM事前学習におけるドメインデータ反復のスケーリング

要旨

大規模言語モデルがスケールするにつれて、適切なトークン・パラメータ比（TPP）を維持するために、そのトレーニング・トークン予算も増やさなければならない。しかしながら、高品質なドメインデータをスケールさせることは、一般的なウェブデータに比べてはるかに困難である。モデルサイズとトレーニング・トークン予算が増加するにつれて、トレーニングデータ混合内におけるその割合は減少する傾向にある。利用可能な高品質データを反復することは、この希釈化を打ち消す効果的な方法となるが、過度の反復は過学習を引き起こす可能性がある。我々は、トレーニング・トークン予算がモデルサイズに比例して増加するという実用的なLLMスケーリングの下で、このトレードオフを研究する。固定されたドメインについて、我々はまず、固定されたTPPでは、驚くべきことに、最適な反復回数がモデルサイズとともに緩やかに増加することを見出す。異なるドメインにわたっては、最適な反復回数がそのドメインの最終検証損失と強い負の相関を示すことを見出す。すなわち、損失が低いドメインは一般により多くの反復から利益を得られる。対照的に、一意なドメインデータの量は、最適な反復回数と弱い関連しかない。これらの発見は、同じTPPを持つより小さなプロキシモデルで調整された反復回数が、より大きなモデルに対する実用的な推定値を提供できることを示唆している。

English

As large language models scale, their training-token budgets must also increase to maintain an appropriate tokens-per-parameter ratio (\(TPP\)). However, high-quality domain data is much harder to scale than general web data. As model size and the training-token budget increase, its fraction in the training mixture tends to decrease. Repeating the available high-quality data provides an effective way to counteract this dilution, but excessive repetition may lead to overfitting. We study this trade-off under practical LLM scaling, where the training-token budget grows proportionally with model size. For a fixed domain, we first find that, surprisingly at a fixed \(TPP\), the optimal repetition count mildly increases with model size. Across different domains, we find that the optimal repetition count is strongly negatively correlated with the final validation loss of a domain: domains with lower loss can generally benefit from more repetitions. In contrast, the amount of unique domain data is only weakly related to the optimal repetition count. These findings suggest that repetition counts tuned on smaller proxy models with the same \(TPP\) can provide a practical estimate for larger models.