RexBERT: Контекстуально-специализированные двунаправленные энкодеры для электронной коммерции

RexBERT: Context Specialized Bidirectional Encoders for E-commerce

February 4, 2026

Авторы: Rahul Bajaj, Anuj Garg

cs.AI

Аннотация

Трансформеры с архитектурой только энкодера остаются незаменимыми в системах поиска, классификации и ранжирования, где критически важны задержка, стабильность и стоимость. Однако большинство универсальных энкодеров обучаются на общих корпусах с ограниченным охватом специализированных предметных областей. Мы представляем RexBERT — семейство BERT-подобных энкодеров, разработанных специально для семантики электронной коммерции. Наш вклад состоит из трёх частей. Во-первых, мы публикуем Ecom-niverse, корпус объёмом 350 миллиардов токенов, собранный из разнообразных источников, связанных с розничной торговлей и покупками. Мы описываем модульный конвейер, который изолирует и извлекает контент, относящийся к e-commerce, из FineFineWeb и других открытых веб-ресурсов, и характеризуем получившееся доменное распределение. Во-вторых, мы представляем воспроизводимый рецепт предварительного обучения, основанный на архитектурных усовершенствованиях ModernBERT. Рецепт состоит из трёх фаз: общего предварительного обучения, расширения контекста и отжига доменной специализации. В-третьих, мы обучаем модели RexBERT с числом параметров от 17 млн до 400 млн и оцениваем их на задачах классификации токенов, семантического сходства и общего понимания естественного языка с использованием наборов данных электронной коммерции. Несмотря на то, что RexBERT имеет в 2–3 раза меньше параметров, он превосходит более крупные универсальные энкодеры и сравнивается или превосходит современные модели с длинным контекстом на предметно-ориентированных бенчмарках. Наши результаты демонстрируют, что высококачественные данные из целевой области в сочетании с принципиальным подходом к обучению обеспечивают более прочную основу для приложений электронной коммерции, чем просто неразборчивое масштабирование.

English

Encoder-only transformers remain indispensable in retrieval, classification, and ranking systems where latency, stability, and cost are paramount. Most general purpose encoders, however, are trained on generic corpora with limited coverage of specialized domains. We introduce RexBERT, a family of BERT-style encoders designed specifically for e-commerce semantics. We make three contributions. First, we release Ecom-niverse, a 350 billion token corpus curated from diverse retail and shopping sources. We describe a modular pipeline that isolates and extracts e-commerce content from FineFineWeb and other open web resources, and characterize the resulting domain distribution. Second, we present a reproducible pretraining recipe building on ModernBERT's architectural advances. The recipe consists of three phases: general pre-training, context extension, and annealed domain specialization. Third, we train RexBERT models ranging from 17M to 400M parameters and evaluate them on token classification, semantic similarity, and general natural language understanding tasks using e-commerce datasets. Despite having 2-3x fewer parameters, RexBERT outperforms larger general-purpose encoders and matches or surpasses modern long-context models on domain-specific benchmarks. Our results demonstrate that high quality in-domain data combined with a principled training approach provides a stronger foundation for e-commerce applications than indiscriminate scaling alone.