LoopCTR：クリック率予測におけるループスケーリングの可能性を解き放つ

要旨

Transformerベースのクリックスルー率（CTR）予測モデルにおいて、パラメータ数を増加させるスケーリング手法は、計算量とストレージのオーバーヘッドを増大させ、スケーリングの野望と厳しい産業環境でのデプロイ制約との間に広がる溝を生み出している。本論文では、共有モデル層の再帰的再利用により訓練時の計算量を増加させつつ、計算量とパラメータ増加を分離する「ループスケーリング」パラダイムを導入するLoopCTRを提案する。LoopCTRは、Hyper-Connected ResidualsとMixture-of-Expertsで強化されたサンドイッチアーキテクチャを採用し、各ループ深度でプロセス監視を行うことで、マルチループの利点を共有パラメータに符号化する。これにより、「訓練時はマルチループ、推論時はゼロループ」という戦略が可能となり、ループなしの単一のフォワードパスですべてのベースラインを凌駕する性能を達成する。3つの公開ベンチマークと1つの産業データセットを用いた実験により、State-of-the-Artの性能を実証した。オラクル分析ではさらに0.02～0.04 AUCの未開拓の潜在性能が明らかになり、より少ないループで訓練されたモデルがより高いオラクル性能上限を示すことから、適応的推論における有望な研究方向が示唆された。

English

Scaling Transformer-based click-through rate (CTR) models by stacking more parameters brings growing computational and storage overhead, creating a widening gap between scaling ambitions and the stringent industrial deployment constraints. We propose LoopCTR, which introduces a loop scaling paradigm that increases training-time computation through recursive reuse of shared model layers, decoupling computation from parameter growth. LoopCTR adopts a sandwich architecture enhanced with Hyper-Connected Residuals and Mixture-of-Experts, and employs process supervision at every loop depth to encode multi-loop benefits into the shared parameters. This enables a train-multi-loop, infer-zero-loop strategy where a single forward pass without any loop already outperforms all baselines. Experiments on three public benchmarks and one industrial dataset demonstrate state-of-the-art performance. Oracle analysis further reveals 0.02--0.04 AUC of untapped headroom, with models trained with fewer loops exhibiting higher oracle ceilings, pointing to a promising frontier for adaptive inference.

LoopCTR：クリック率予測におけるループスケーリングの可能性を解き放つ

LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction

要旨

Support