RexBERT: Contextgespecialiseerde bidirectionele encoders voor e-commerce

RexBERT: Context Specialized Bidirectional Encoders for E-commerce

February 4, 2026

Auteurs: Rahul Bajaj, Anuj Garg

cs.AI

Samenvatting

Encoder-only transformers blijven onmisbaar in retrievalsystemen, classificatie- en rankingsystemen waar latentie, stabiliteit en kosten cruciaal zijn. De meeste algemene encoders worden echter getraind op generieke corpora met beperkte dekking van gespecialiseerde domeinen. Wij introduceren RexBERT, een familie van BERT-stijl encoders die specifiek zijn ontworpen voor e-commercesemantiek. Wij leveren drie bijdragen. Ten eerste geven wij Ecom-niverse vrij, een corpus van 350 miljard tokens samengesteld uit diverse retail- en winkelsbronnen. Wij beschrijven een modulaire pijplijn die e-commerce-inhoud isoleert en extraheert uit FineFineWeb en andere open webresources, en karakteriseren de resulterende domeinverdeling. Ten tweede presenteren wij een reproduceerbaar recept voor vooraf trainen, voortbouwend op de architectuurverbeteringen van ModernBERT. Het recept bestaat uit drie fasen: algemene voorafgaande training, contextuitbreiding en afgekoelde domeinspecialisatie. Ten derde trainen wij RexBERT-modellen variërend van 17M tot 400M parameters en evalueren deze op tokenclassificatie, semantische gelijkenis en algemene natuurlijke-taaluitwerkingstaken met behulp van e-commerce-datasets. Ondanks 2-3x minder parameters presteert RexBERT beter dan grotere algemene encoders en evenaart of overtreft het moderne lang-contextmodellen op domeinspecifieke benchmarks. Onze resultaten tonen aan dat hoogwaardige in-domein data gecombineerd met een principiële trainingsaanpak een sterkere basis biedt voor e-commerce-toepassingen dan ongericht schalen alleen.

English

Encoder-only transformers remain indispensable in retrieval, classification, and ranking systems where latency, stability, and cost are paramount. Most general purpose encoders, however, are trained on generic corpora with limited coverage of specialized domains. We introduce RexBERT, a family of BERT-style encoders designed specifically for e-commerce semantics. We make three contributions. First, we release Ecom-niverse, a 350 billion token corpus curated from diverse retail and shopping sources. We describe a modular pipeline that isolates and extracts e-commerce content from FineFineWeb and other open web resources, and characterize the resulting domain distribution. Second, we present a reproducible pretraining recipe building on ModernBERT's architectural advances. The recipe consists of three phases: general pre-training, context extension, and annealed domain specialization. Third, we train RexBERT models ranging from 17M to 400M parameters and evaluate them on token classification, semantic similarity, and general natural language understanding tasks using e-commerce datasets. Despite having 2-3x fewer parameters, RexBERT outperforms larger general-purpose encoders and matches or surpasses modern long-context models on domain-specific benchmarks. Our results demonstrate that high quality in-domain data combined with a principled training approach provides a stronger foundation for e-commerce applications than indiscriminate scaling alone.