LoopCTR: Desbloqueando o Poder de Escalonamento em Loop para Previsão de Taxa de Cliques
LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction
April 21, 2026
Autores: Jiakai Tang, Runfeng Zhang, Weiqiu Wang, Yifei Liu, Chuan Wang, Xu Chen, Yeqiu Yang, Jian Wu, Yuning Jiang, Bo Zheng
cs.AI
Resumo
A escalabilidade de modelos de *click-through rate* (CTR) baseados em *Transformers* através do empilhamento de mais parâmetros acarreta custos computacionais e de armazenamento crescentes, criando um fosso cada vez maior entre as ambições de escalonamento e as restrições rigorosas de implantação industrial. Propomos o LoopCTR, que introduz um paradigma de escalonamento em loop que aumenta a computação durante o treinamento por meio da reutilização recursiva de camadas compartilhadas do modelo, desacoplando a computação do crescimento de parâmetros. O LoopCTR adota uma arquitetura em sanduíche aprimorada com Residuais Hiperconectados e *Mixture-of-Experts*, e emprega supervisão de processo em cada profundidade de loop para codificar os benefícios de múltiplos loops nos parâmetros compartilhados. Isso permite uma estratégia de "treinar com múltiplos loops, inferir com zero loops", na qual uma única passagem direta sem qualquer loop já supera todas as linhas de base. Experimentos em três benchmarks públicos e um conjunto de dados industrial demonstram desempenho de última geração. Uma análise *oracle* revela ainda um potencial inexplorado de 0,02 a 0,04 de AUC, com modelos treinados com menos loops exibindo tetos *oracle* mais altos, apontando para uma fronteira promissora para inferência adaptativa.
English
Scaling Transformer-based click-through rate (CTR) models by stacking more parameters brings growing computational and storage overhead, creating a widening gap between scaling ambitions and the stringent industrial deployment constraints. We propose LoopCTR, which introduces a loop scaling paradigm that increases training-time computation through recursive reuse of shared model layers, decoupling computation from parameter growth. LoopCTR adopts a sandwich architecture enhanced with Hyper-Connected Residuals and Mixture-of-Experts, and employs process supervision at every loop depth to encode multi-loop benefits into the shared parameters. This enables a train-multi-loop, infer-zero-loop strategy where a single forward pass without any loop already outperforms all baselines. Experiments on three public benchmarks and one industrial dataset demonstrate state-of-the-art performance. Oracle analysis further reveals 0.02--0.04 AUC of untapped headroom, with models trained with fewer loops exhibiting higher oracle ceilings, pointing to a promising frontier for adaptive inference.