LoopCTR: 클릭률 예측을 위한 루프 스케일링 성능 극대화

초록

트랜스포머 기반 클릭률 예측 모델의 매개변수 증가에 따른 규모 확장은 계산 및 저장 오버헤드를 증가시켜, 확장 목표와 엄격한 산업 환경 배포 요구사항 간의 격차를 점점 더 넓히고 있습니다. 본 연구에서는 공유 모델 계층의 재귀적 재사용을 통해 학습 시간 계산량을 증가시키면서 매개변수 증가와 계산량을 분리하는 루프 스케일링 패러다임을 제안하는 LoopCTR을 소개합니다. LoopCTR은 하이퍼 연결 잔차와 전문가 혼합 모델로 강화된 샌드위치 아키텍처를 채택하며, 모든 루프 깊이에서 프로세스 감독을 적용하여 다중 루프의 이점을 공유 매개변수에 인코딩합니다. 이를 통해 루프를 전혀 사용하지 않는 단일 순전파만으로도 모든 기준 모델을 능가하는 '다중 루프 학습, 제로 루프 추론' 전략이 가능해집니다. 3개의 공개 벤치마크와 1개의 산업 데이터셋에서의 실험은 최첨단 성능을 입증했습니다. 오라클 분석을 통해 추가로 0.02~0.04 AUC의 미개척 성능 향상 잠재력이 확인되었으며, 더 적은 루프로 학습된 모델이 더 높은 오라클 성능 한계를 보여 적응형 추론을 위한 유망한 발전 방향을 제시합니다.

English

Scaling Transformer-based click-through rate (CTR) models by stacking more parameters brings growing computational and storage overhead, creating a widening gap between scaling ambitions and the stringent industrial deployment constraints. We propose LoopCTR, which introduces a loop scaling paradigm that increases training-time computation through recursive reuse of shared model layers, decoupling computation from parameter growth. LoopCTR adopts a sandwich architecture enhanced with Hyper-Connected Residuals and Mixture-of-Experts, and employs process supervision at every loop depth to encode multi-loop benefits into the shared parameters. This enables a train-multi-loop, infer-zero-loop strategy where a single forward pass without any loop already outperforms all baselines. Experiments on three public benchmarks and one industrial dataset demonstrate state-of-the-art performance. Oracle analysis further reveals 0.02--0.04 AUC of untapped headroom, with models trained with fewer loops exhibiting higher oracle ceilings, pointing to a promising frontier for adaptive inference.

LoopCTR: 클릭률 예측을 위한 루프 스케일링 성능 극대화

LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction

초록

Support