LoopCTR: Entfesselung der Potenziale der Loop-Skalierung für die Klickrate-Vorhersage
LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction
April 21, 2026
Autoren: Jiakai Tang, Runfeng Zhang, Weiqiu Wang, Yifei Liu, Chuan Wang, Xu Chen, Yeqiu Yang, Jian Wu, Yuning Jiang, Bo Zheng
cs.AI
Zusammenfassung
Die Skalierung von Transformer-basierten Click-Through-Rate(CTR)-Modellen durch das Stapeln weiterer Parameter führt zu wachsenden Rechen- und Speicheraufwänden, was eine zunehmende Kluft zwischen Skalierungsambitionen und strengen industriellen Einsatzbedingungen schafft. Wir schlagen LoopCTR vor, das ein Loop-Skalierungsparadigma einführt, das den Rechenaufwand zur Trainingszeit durch rekursive Wiederverwendung gemeinsamer Modellschichten erhöht und so die Berechnung vom Parameterwachstum entkoppelt. LoopCTR verwendet eine Sandwich-Architektur, die mit Hyper-Connected Residuals und Mixture-of-Experts erweitert ist, und setzt Prozessüberwachung auf jeder Loop-Tiefe ein, um die Vorteile mehrerer Loops in die gemeinsamen Parameter zu kodieren. Dies ermöglicht eine Train-multi-loop, Infer-zero-loop-Strategie, bei der ein einzelner Vorwärtsdurchlauf ohne jeglichen Loop bereits alle Baseline-Modelle übertrifft. Experimente auf drei öffentlichen Benchmarks und einem industriellen Datensatz demonstrieren state-of-the-art Leistung. Eine Oracle-Analyse zeigt weiterhin ungenutztes Potenzial von 0,02–0,04 AUC auf, wobei Modelle, die mit weniger Loops trainiert wurden, höhere Oracle-Obergrenzen aufweisen und auf eine vielversprechende Grenze für adaptive Inferenz hindeuten.
English
Scaling Transformer-based click-through rate (CTR) models by stacking more parameters brings growing computational and storage overhead, creating a widening gap between scaling ambitions and the stringent industrial deployment constraints. We propose LoopCTR, which introduces a loop scaling paradigm that increases training-time computation through recursive reuse of shared model layers, decoupling computation from parameter growth. LoopCTR adopts a sandwich architecture enhanced with Hyper-Connected Residuals and Mixture-of-Experts, and employs process supervision at every loop depth to encode multi-loop benefits into the shared parameters. This enables a train-multi-loop, infer-zero-loop strategy where a single forward pass without any loop already outperforms all baselines. Experiments on three public benchmarks and one industrial dataset demonstrate state-of-the-art performance. Oracle analysis further reveals 0.02--0.04 AUC of untapped headroom, with models trained with fewer loops exhibiting higher oracle ceilings, pointing to a promising frontier for adaptive inference.