빌리언-스케일 용량에서 사용자 표현 학습을 위한 Densing 법칙을 향하여

초록

실제 산업 현장에서의 사용자 표현 학습은 일반적으로 사용자 수, 행동 시퀀스 길이, 모델 크기를 증가시켜 확장된다. 그러나 기존 방법은 두 가지 문제에 직면한다. (i) 수십억 규모 용량에서의 원시 데이터 확장 병목: 더 큰 규모의 원시 텍스트 사용자 행동 입력은 성능 향상이 감소하는 양상을 보이는데, 이는 토큰화를 통해 완화될 수 있다. (ii) 토큰화 구성이 데이터 규모에 따라 어떻게 확장되어야 하는지에 대한 정량적 분석의 부재. 본 보고서에서 우리는 데이터 규모와 최소 충분 토큰화 용량 간의 정량적 관계를 규명하는 사용자 행동 밀집화 법칙(User Behavioral Densing Law)을 제안한다. 먼저, 수십억 규모 알리페이 데이터셋에 대해 원시 데이터와 토큰화된 데이터의 확장 비교 예비 연구를 수행하여, 원시 데이터 확장의 병목과 토큰화가 가능하게 하는 지속적 개선 효과를 확인한다. 다양한 데이터 규모에서 최소 충분 토큰화 구성을 지배하는 확장 패턴을 도출하기 위해, 이론적 분석과 체계적 실험을 통해 정량적 확장 패턴을 정리한다. 최소 충분 토큰화 용량과 토큰 단위로 측정된 입력 데이터 크기 각각의 로그 사이에는 대략 선형 관계가 있음을 발견했으며, 확장 기울기는 토큰화 방법과 데이터 소스에 따라 체계적으로 변하는데, 이는 표현 공간의 중복성과 소스 내 고유성의 차이를 반영한다. 제안된 법칙에 따라, 우리는 용량 할당을 개선하는 적응형 가변 길이 토큰화 방법인 ALGN을 추가로 개발한다. 다양한 데이터 소스, 토큰화 방법 및 다운스트림 작업에 걸친 광범위한 실험은 사용자 행동 밀집화 법칙의 일반화 가능성과 신뢰성을 입증하며, 대규모 사용자 표현 학습에서 토큰화 구성 선택에 대한 실용적 지침을 제공한다. 또한 ALGN은 기존 베이스라인보다 우수한 성능을 보인다.

English

User representation learning in real-world industrial scenarios is commonly scaled by increasing user amount, behavioral sequence length and model size. However, existing methods face two challenges: (i) Bottleneck for raw data scaling at billion-scale capacity, as performance exhibit diminishing performance gains with larger-scale raw text user behavioral input, which can be mitigated by tokenization. (ii) Lack of quantitative analysis of how tokenization configurations should scale with data size. In this report, we propose User Behavioral Densing Law for characterizing the quantitative relationship between data scale and the minimum sufficient tokenization capacity. Firstly, we conduct a pilot study on raw & tokenized scaling comparison on billion-scale Alipay dataset, revealing the raw data scaling bottleneck and the sustained gains enabled by tokenization. To derive the scaling pattern governing the minimum sufficient tokenization configuration at different data scales, theoretical analysis and systematic experiments are employed to summarize the quantitative scaling pattern. We find an approximately linear relationship between the logarithms of minimum sufficient tokenization capacity and input data size measured by tokens, and the scaling slope varies systematically with the tokenization method and data source, reflecting differences in representation-space redundancy and intra-source uniqueness. Guided by the proposed law, we further develop ALGN, an adaptive variable-length tokenization method that improves capacity allocation. Extensive experiments across diverse data sources, tokenization methods, and downstream tasks demonstrate the generalizability and reliability of the User Behavioral Densing Law, providing practical guidance for tokenization configuration selection in large-scale user representation learning. Moreover, ALGN outperforms existing baselines.