RexBERT : Encodeurs bidirectionnels spécialisés en contexte pour le commerce électronique

RexBERT: Context Specialized Bidirectional Encoders for E-commerce

February 4, 2026

papers.authors: Rahul Bajaj, Anuj Garg

cs.AI

papers.abstract

Les transformeurs encodeurs restent indispensables dans les systèmes de recherche, de classification et de classement où la latence, la stabilité et le coût sont primordiaux. Cependant, la plupart des encodeurs à usage général sont entraînés sur des corpus génériques ayant une couverture limitée des domaines spécialisés. Nous présentons RexBERT, une famille d'encodeurs de type BERT conçus spécifiquement pour la sémantique du commerce électronique. Nous apportons trois contributions. Premièrement, nous publions Ecom-niverse, un corpus de 350 milliards de tokens constitué à partir de diverses sources de vente au détail et d'achat. Nous décrivons un pipeline modulaire qui isole et extrait le contenu lié au e-commerce de FineFineWeb et d'autres ressources web ouvertes, et caractérisons la distribution domainale résultante. Deuxièmement, nous présentons une méthode reproductible de pré-entraînement s'appuyant sur les avancées architecturales de ModernBERT. La méthode se compose de trois phases : pré-entraînement général, extension du contexte et spécialisation domainale recuite. Troisièmement, nous entraînons des modèles RexBERT allant de 17M à 400M de paramètres et les évaluons sur des tâches de classification de tokens, de similarité sémantique et de compréhension générale du langage naturel à l'aide de jeux de données du e-commerce. Bien qu'ils aient 2 à 3 fois moins de paramètres, les modèles RexBERT surpassent les encodeurs généralistes plus grands et égalent ou dépassent les modèles modernes à contexte long sur les benchmarks spécialisés. Nos résultats démontrent que des données de haute qualité dans le domaine, combinées à une approche d'entraînement principée, offrent une base plus solide pour les applications de e-commerce que la simple augmentation indiscriminée de la taille des modèles.

English

Encoder-only transformers remain indispensable in retrieval, classification, and ranking systems where latency, stability, and cost are paramount. Most general purpose encoders, however, are trained on generic corpora with limited coverage of specialized domains. We introduce RexBERT, a family of BERT-style encoders designed specifically for e-commerce semantics. We make three contributions. First, we release Ecom-niverse, a 350 billion token corpus curated from diverse retail and shopping sources. We describe a modular pipeline that isolates and extracts e-commerce content from FineFineWeb and other open web resources, and characterize the resulting domain distribution. Second, we present a reproducible pretraining recipe building on ModernBERT's architectural advances. The recipe consists of three phases: general pre-training, context extension, and annealed domain specialization. Third, we train RexBERT models ranging from 17M to 400M parameters and evaluate them on token classification, semantic similarity, and general natural language understanding tasks using e-commerce datasets. Despite having 2-3x fewer parameters, RexBERT outperforms larger general-purpose encoders and matches or surpasses modern long-context models on domain-specific benchmarks. Our results demonstrate that high quality in-domain data combined with a principled training approach provides a stronger foundation for e-commerce applications than indiscriminate scaling alone.