LoopCTR : Libérer la puissance de mise à l'échelle en boucle pour la prédiction du taux de clics
LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction
April 21, 2026
Auteurs: Jiakai Tang, Runfeng Zhang, Weiqiu Wang, Yifei Liu, Chuan Wang, Xu Chen, Yeqiu Yang, Jian Wu, Yuning Jiang, Bo Zheng
cs.AI
Résumé
L'augmentation des modèles de prédiction du taux de clic (CTR) basés sur les Transformers en empilant davantage de paramètres entraîne une croissance des coûts de calcul et de stockage, créant un écart croissant entre les ambitions de scalabilité et les contraintes strictes de déploiement industriel. Nous proposons LoopCTR, qui introduit un paradigme de mise à l'échelle en boucle augmentant le calcul en phase d'entraînement via la réutilisation récursive de couches de modèle partagées, découplant ainsi la complexité computationnelle de la croissance des paramètres. LoopCTR adopte une architecture en sandwich améliorée par des Résiduels Hyper-Connectés et un Mélange d'Experts, et utilise une supervision de processus à chaque profondeur de bouche pour encoder les bénéfices multi-boucles dans les paramètres partagés. Cela permet une stratégie d'entraînement multi-boucles et d'inférence zéro-boucle, où une seule passe avant sans aucune boucle surpasse déjà toutes les approches de référence. Les expériences sur trois benchmarks publics et un jeu de données industriel démontrent des performances à l'état de l'art. Une analyse oracle révèle en outre un potentiel inexploité de 0,02 à 0,04 AUC, les modèles entraînés avec moins de boucles présentant des plafonds oracle plus élevés, indiquant une frontière prometteuse pour l'inférence adaptative.
English
Scaling Transformer-based click-through rate (CTR) models by stacking more parameters brings growing computational and storage overhead, creating a widening gap between scaling ambitions and the stringent industrial deployment constraints. We propose LoopCTR, which introduces a loop scaling paradigm that increases training-time computation through recursive reuse of shared model layers, decoupling computation from parameter growth. LoopCTR adopts a sandwich architecture enhanced with Hyper-Connected Residuals and Mixture-of-Experts, and employs process supervision at every loop depth to encode multi-loop benefits into the shared parameters. This enables a train-multi-loop, infer-zero-loop strategy where a single forward pass without any loop already outperforms all baselines. Experiments on three public benchmarks and one industrial dataset demonstrate state-of-the-art performance. Oracle analysis further reveals 0.02--0.04 AUC of untapped headroom, with models trained with fewer loops exhibiting higher oracle ceilings, pointing to a promising frontier for adaptive inference.