Hiformer : Apprentissage des interactions hétérogènes de caractéristiques avec des Transformers pour les systèmes de recommandation

Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems

November 10, 2023

Auteurs: Huan Gui, Ruoxi Wang, Ke Yin, Long Jin, Maciej Kula, Taibai Xu, Lichan Hong, Ed H. Chi

cs.AI

Résumé

L’apprentissage des interactions entre caractéristiques constitue l’élément essentiel pour la construction de systèmes de recommandation. Dans les applications à l’échelle du web, cet apprentissage est extrêmement complexe en raison de l’espace de caractéristiques d’entrée vaste et parcimonieux ; par ailleurs, la conception manuelle d’interactions de caractéristiques efficaces est irréalisable en raison de l’espace de solution exponentiel. Nous proposons d’exploiter une architecture basée sur le Transformer avec des couches d’attention pour capturer automatiquement les interactions entre caractéristiques. Les architectures Transformer ont connu un grand succès dans de nombreux domaines, tels que le traitement du langage naturel et la vision par ordinateur. Cependant, l’adoption de l’architecture Transformer pour la modélisation des interactions de caractéristiques dans l’industrie reste limitée. Nous visons à combler cette lacune. Nous identifions deux défis majeurs pour l’application de l’architecture Transformer classique aux systèmes de recommandation à l’échelle du web : (1) l’architecture Transformer ne parvient pas à capturer les interactions hétérogènes entre caractéristiques dans la couche d’auto-attention ; (2) la latence de traitement de l’architecture Transformer pourrait être trop élevée pour être déployée dans des systèmes de recommandation à l’échelle du web. Nous proposons d’abord une couche d’auto-attention hétérogène, une modification simple mais efficace de la couche d’auto-attention du Transformer, pour tenir compte de l’hétérogénéité des interactions de caractéristiques. Nous introduisons ensuite Hiformer (Transformer d’Interactions Hétérogènes) pour améliorer davantage l’expressivité du modèle. Grâce à l’approximation de bas rang et à l’élagage du modèle, Hiformer bénéficie d’une inférence rapide pour un déploiement en ligne. Les résultats d’expériences hors ligne approfondies confirment l’efficacité et l’efficience du modèle Hiformer. Nous avons déployé avec succès le modèle Hiformer dans un modèle de classement d’applications à grande échelle dans le monde réel sur Google Play, avec une amélioration significative des indicateurs clés d’engagement (jusqu’à +2,66 %).

English

Learning feature interaction is the critical backbone to building recommender systems. In web-scale applications, learning feature interaction is extremely challenging due to the sparse and large input feature space; meanwhile, manually crafting effective feature interactions is infeasible because of the exponential solution space. We propose to leverage a Transformer-based architecture with attention layers to automatically capture feature interactions. Transformer architectures have witnessed great success in many domains, such as natural language processing and computer vision. However, there has not been much adoption of Transformer architecture for feature interaction modeling in industry. We aim at closing the gap. We identify two key challenges for applying the vanilla Transformer architecture to web-scale recommender systems: (1) Transformer architecture fails to capture the heterogeneous feature interactions in the self-attention layer; (2) The serving latency of Transformer architecture might be too high to be deployed in web-scale recommender systems. We first propose a heterogeneous self-attention layer, which is a simple yet effective modification to the self-attention layer in Transformer, to take into account the heterogeneity of feature interactions. We then introduce Hiformer (Heterogeneous Interaction Transformer) to further improve the model expressiveness. With low-rank approximation and model pruning, \hiformer enjoys fast inference for online deployment. Extensive offline experiment results corroborates the effectiveness and efficiency of the Hiformer model. We have successfully deployed the Hiformer model to a real world large scale App ranking model at Google Play, with significant improvement in key engagement metrics (up to +2.66\%).