ビリオンスケール容量におけるユーザ表現学習のためのDensing則に向けて

要旨

現実世界の産業シナリオにおけるユーザー表現学習は、通常、ユーザー数、行動系列長、モデルサイズを拡大することによってスケールされる。しかしながら、既存手法は次の2つの課題に直面している。(i) 十億規模の容量における生データスケーリングのボトルネック。より大規模な生テキストのユーザー行動入力では性能向上が逓減し、これはトークン化によって緩和され得る。(ii) データサイズに応じてトークン化構成をどのようにスケールすべきかに関する定量的分析の欠如。本報告書では、データ規模と最小十分なトークン化容量との間の定量的関係を特徴付ける、ユーザー行動稠密化則（User Behavioral Densing Law）を提案する。まず、十億規模のAlipayデータセットにおける生データとトークン化データのスケーリング比較に関するパイロット研究を実施し、生データスケーリングのボトルネックと、トークン化によって可能となる持続的な利得を明らかにする。異なるデータ規模における最小十分なトークン化構成を支配するスケーリングパターンを導出するため、理論的分析と系統的実験を用いて定量的スケーリングパターンをまとめる。その結果、最小十分なトークン化容量の対数と、トークン数で測定した入力データサイズの対数との間にほぼ線形関係があることが分かった。また、スケーリング傾きはトークン化手法とデータソースに応じて系統的に変化し、表現空間の冗長性とソース内の一意性の違いを反映している。提案した法則に基づき、容量配分を改善する適応的可変長トークン化手法であるALGNをさらに開発する。多様なデータソース、トークン化手法、下流タスクにわたる大規模実験は、ユーザー行動稠密化則の一般化可能性と信頼性を示し、大規模ユーザー表現学習におけるトークン化構成の選択に実用的な指針を提供する。さらに、ALGNは既存のベースラインを上回る性能を達成する。

English

User representation learning in real-world industrial scenarios is commonly scaled by increasing user amount, behavioral sequence length and model size. However, existing methods face two challenges: (i) Bottleneck for raw data scaling at billion-scale capacity, as performance exhibit diminishing performance gains with larger-scale raw text user behavioral input, which can be mitigated by tokenization. (ii) Lack of quantitative analysis of how tokenization configurations should scale with data size. In this report, we propose User Behavioral Densing Law for characterizing the quantitative relationship between data scale and the minimum sufficient tokenization capacity. Firstly, we conduct a pilot study on raw & tokenized scaling comparison on billion-scale Alipay dataset, revealing the raw data scaling bottleneck and the sustained gains enabled by tokenization. To derive the scaling pattern governing the minimum sufficient tokenization configuration at different data scales, theoretical analysis and systematic experiments are employed to summarize the quantitative scaling pattern. We find an approximately linear relationship between the logarithms of minimum sufficient tokenization capacity and input data size measured by tokens, and the scaling slope varies systematically with the tokenization method and data source, reflecting differences in representation-space redundancy and intra-source uniqueness. Guided by the proposed law, we further develop ALGN, an adaptive variable-length tokenization method that improves capacity allocation. Extensive experiments across diverse data sources, tokenization methods, and downstream tasks demonstrate the generalizability and reliability of the User Behavioral Densing Law, providing practical guidance for tokenization configuration selection in large-scale user representation learning. Moreover, ALGN outperforms existing baselines.