Hiformer: Apprendimento delle Interazioni Eterogenee tra Feature con Trasformatori per Sistemi di Raccomandazione

Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems

November 10, 2023

Autori: Huan Gui, Ruoxi Wang, Ke Yin, Long Jin, Maciej Kula, Taibai Xu, Lichan Hong, Ed H. Chi

cs.AI

Abstract

L'apprendimento delle interazioni tra feature rappresenta l'elemento fondamentale per la costruzione di sistemi di raccomandazione. Nelle applicazioni su scala web, apprendere queste interazioni è estremamente complesso a causa dello spazio di input delle feature, che è sia ampio che sparso; allo stesso tempo, la creazione manuale di interazioni efficaci tra feature è impraticabile a causa dello spazio esponenziale delle soluzioni. Proponiamo di sfruttare un'architettura basata su Transformer con livelli di attenzione per catturare automaticamente le interazioni tra feature. Le architetture Transformer hanno ottenuto grande successo in molti domini, come l'elaborazione del linguaggio naturale e la visione artificiale. Tuttavia, l'adozione dell'architettura Transformer per la modellazione delle interazioni tra feature nell'industria è stata limitata. Il nostro obiettivo è colmare questa lacuna. Identifichiamo due sfide chiave per l'applicazione dell'architettura Transformer standard ai sistemi di raccomandazione su scala web: (1) l'architettura Transformer non riesce a catturare le interazioni eterogenee tra feature nel livello di self-attention; (2) la latenza di servizio dell'architettura Transformer potrebbe essere troppo elevata per essere implementata in sistemi di raccomandazione su scala web. Proponiamo innanzitutto un livello di self-attention eterogeneo, una modifica semplice ma efficace al livello di self-attention del Transformer, per tenere conto dell'eterogeneità delle interazioni tra feature. Introduciamo quindi Hiformer (Heterogeneous Interaction Transformer) per migliorare ulteriormente l'espressività del modello. Grazie all'approssimazione a basso rango e alla potatura del modello, Hiformer garantisce un'inferenza rapida per il deployment online. I risultati estesi degli esperimenti offline confermano l'efficacia e l'efficienza del modello Hiformer. Abbiamo implementato con successo il modello Hiformer in un modello di ranking su larga scala per app su Google Play, ottenendo un miglioramento significativo nelle metriche chiave di engagement (fino a +2,66%).

English

Learning feature interaction is the critical backbone to building recommender systems. In web-scale applications, learning feature interaction is extremely challenging due to the sparse and large input feature space; meanwhile, manually crafting effective feature interactions is infeasible because of the exponential solution space. We propose to leverage a Transformer-based architecture with attention layers to automatically capture feature interactions. Transformer architectures have witnessed great success in many domains, such as natural language processing and computer vision. However, there has not been much adoption of Transformer architecture for feature interaction modeling in industry. We aim at closing the gap. We identify two key challenges for applying the vanilla Transformer architecture to web-scale recommender systems: (1) Transformer architecture fails to capture the heterogeneous feature interactions in the self-attention layer; (2) The serving latency of Transformer architecture might be too high to be deployed in web-scale recommender systems. We first propose a heterogeneous self-attention layer, which is a simple yet effective modification to the self-attention layer in Transformer, to take into account the heterogeneity of feature interactions. We then introduce Hiformer (Heterogeneous Interaction Transformer) to further improve the model expressiveness. With low-rank approximation and model pruning, \hiformer enjoys fast inference for online deployment. Extensive offline experiment results corroborates the effectiveness and efficiency of the Hiformer model. We have successfully deployed the Hiformer model to a real world large scale App ranking model at Google Play, with significant improvement in key engagement metrics (up to +2.66\%).