UniMixer: Uma Arquitetura Unificada para Leis de Escala em Sistemas de Recomendação
UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems
April 1, 2026
Autores: Mingming Ha, Guanchen Wang, Linxun Chen, Xuan Rao, Yuexin Shi, Tianbao Ma, Zhaojie Liu, Yunqian Fan, Zilong Lu, Yanan Niu, Han Li, Kun Gai
cs.AI
Resumo
Nos últimos anos, as leis de escalabilidade de modelos de recomendação têm atraído crescente atenção, as quais governam a relação entre desempenho e parâmetros/FLOPs dos sistemas de recomendação. Atualmente, existem três arquiteturas principais para alcançar escalabilidade em modelos de recomendação, nomeadamente métodos baseados em atenção, baseados em TokenMixer e baseados em máquina de fatoração, que apresentam diferenças fundamentais tanto na filosofia de design quanto na estrutura arquitetônica. Neste artigo, propomos uma arquitetura de escalabilidade unificada para sistemas de recomendação, denominada UniMixer, para melhorar a eficiência de escalabilidade e estabelecer um quadro teórico unificado que integre os blocos de escalabilidade predominantes. Ao transformar o TokenMixer baseado em regras em uma estrutura parametrizada equivalente, construímos um módulo parametrizado generalizado de combinação de características que permite que os padrões de combinação de tokens sejam otimizados e aprendidos durante o treinamento do modelo. Simultaneamente, a combinação parametrizada generalizada de tokens remove a restrição no TokenMixer que exige que o número de cabeças seja igual ao número de tokens. Adicionalmente, estabelecemos um quadro unificado de design de módulos de escalabilidade para sistemas de recomendação, que estabelece conexões entre métodos baseados em atenção, TokenMixer e máquina de fatoração. Para potencializar ainda mais o ROI de escalabilidade, foi projetado um módulo UniMixing leve, o UniMixing-Lite, que comprime ainda mais os parâmetros do modelo e o custo computacional, enquanto melhora significativamente o desempenho do modelo. As curvas de escalabilidade são mostradas na figura seguinte. Experimentos extensivos offline e online são conduzidos para verificar as habilidades superiores de escalabilidade do UniMixer.
English
In recent years, the scaling laws of recommendation models have attracted increasing attention, which govern the relationship between performance and parameters/FLOPs of recommenders. Currently, there are three mainstream architectures for achieving scaling in recommendation models, namely attention-based, TokenMixer-based, and factorization-machine-based methods, which exhibit fundamental differences in both design philosophy and architectural structure. In this paper, we propose a unified scaling architecture for recommendation systems, namely UniMixer, to improve scaling efficiency and establish a unified theoretical framework that unifies the mainstream scaling blocks. By transforming the rule-based TokenMixer to an equivalent parameterized structure, we construct a generalized parameterized feature mixing module that allows the token mixing patterns to be optimized and learned during model training. Meanwhile, the generalized parameterized token mixing removes the constraint in TokenMixer that requires the number of heads to be equal to the number of tokens. Furthermore, we establish a unified scaling module design framework for recommender systems, which bridges the connections among attention-based, TokenMixer-based, and factorization-machine-based methods. To further boost scaling ROI, a lightweight UniMixing module is designed, UniMixing-Lite, which further compresses the model parameters and computational cost while significantly improve the model performance. The scaling curves are shown in the following figure. Extensive offline and online experiments are conducted to verify the superior scaling abilities of UniMixer.