UniMixer: un'architettura unificata per le leggi di scala nei sistemi di raccomandazione

UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems

April 1, 2026

Autori: Mingming Ha, Guanchen Wang, Linxun Chen, Xuan Rao, Yuexin Shi, Tianbao Ma, Zhaojie Liu, Yunqian Fan, Zilong Lu, Yanan Niu, Han Li, Kun Gai

cs.AI

Abstract

Negli ultimi anni, le leggi di scala dei modelli di raccomandazione hanno attirato un'attenzione crescente, poiché governano la relazione tra le prestazioni e i parametri/FLOP dei sistemi di raccomandazione. Attualmente, esistono tre architetture principali per ottenere il ridimensionamento nei modelli di raccomandazione, ovvero i metodi basati su attenzione, su TokenMixer e su macchine di fattorizzazione, che presentano differenze fondamentali sia nella filosofia progettuale che nella struttura architetturale. In questo articolo, proponiamo un'architettura di ridimensionamento unificata per i sistemi di raccomandazione, denominata UniMixer, per migliorare l'efficienza del ridimensionamento e stabilire un quadro teorico unificato che riunisca i blocchi di ridimensionamento mainstream. Trasformando il TokenMixer basato su regole in una struttura equivalente parametrica, costruiamo un modulo generalizzato parametrico di miscelazione delle feature che consente ai pattern di miscelazione dei token di essere ottimizzati e appresi durante l'addestramento del modello. Nel contempo, la miscelazione parametrica generalizzata dei token rimuove il vincolo presente nel TokenMixer che richiede che il numero di teste sia uguale al numero di token. Inoltre, stabiliamo un quadro unificato per la progettazione di moduli di ridimensionamento per i sistemi di raccomandazione, che colma le connessioni tra i metodi basati su attenzione, su TokenMixer e su macchine di fattorizzazione. Per aumentare ulteriormente il ROI del ridimensionamento, è stato progettato un modulo UniMixing leggero, UniMixing-Lite, che comprime ulteriormente i parametri del modello e il costo computazionale migliorando significativamente le prestazioni del modello. Le curve di ridimensionamento sono mostrate nella figura seguente. Sono stati condotti ampi esperimenti offline e online per verificare le superiori capacità di ridimensionamento di UniMixer.

English

In recent years, the scaling laws of recommendation models have attracted increasing attention, which govern the relationship between performance and parameters/FLOPs of recommenders. Currently, there are three mainstream architectures for achieving scaling in recommendation models, namely attention-based, TokenMixer-based, and factorization-machine-based methods, which exhibit fundamental differences in both design philosophy and architectural structure. In this paper, we propose a unified scaling architecture for recommendation systems, namely UniMixer, to improve scaling efficiency and establish a unified theoretical framework that unifies the mainstream scaling blocks. By transforming the rule-based TokenMixer to an equivalent parameterized structure, we construct a generalized parameterized feature mixing module that allows the token mixing patterns to be optimized and learned during model training. Meanwhile, the generalized parameterized token mixing removes the constraint in TokenMixer that requires the number of heads to be equal to the number of tokens. Furthermore, we establish a unified scaling module design framework for recommender systems, which bridges the connections among attention-based, TokenMixer-based, and factorization-machine-based methods. To further boost scaling ROI, a lightweight UniMixing module is designed, UniMixing-Lite, which further compresses the model parameters and computational cost while significantly improve the model performance. The scaling curves are shown in the following figure. Extensive offline and online experiments are conducted to verify the superior scaling abilities of UniMixer.