RexBERT: Codificadores Bidireccionales Especializados en Contexto para el Comercio Electrónico
RexBERT: Context Specialized Bidirectional Encoders for E-commerce
February 4, 2026
Autores: Rahul Bajaj, Anuj Garg
cs.AI
Resumen
Los transformadores de solo codificador siguen siendo indispensables en sistemas de recuperación, clasificación y ranking donde la latencia, la estabilidad y el coste son primordiales. Sin embargo, la mayoría de los codificadores de propósito general se entrenan con corpus genéricos que tienen una cobertura limitada de dominios especializados. Presentamos RexBERT, una familia de codificadores estilo BERT diseñados específicamente para la semántica del comercio electrónico. Realizamos tres contribuciones. Primero, publicamos Ecom-niverse, un corpus de 350 mil millones de tokens curado a partir de diversas fuentes minoristas y de compras. Describimos una canalización modular que aísla y extrae contenido de comercio electrónico de FineFineWeb y otros recursos web abiertos, y caracterizamos la distribución de dominios resultante. Segundo, presentamos una receta de preentrenamiento reproducible basada en los avances arquitectónicos de ModernBERT. La receta consta de tres fases: preentrenamiento general, extensión de contexto y especialización de dominio recocida. Tercero, entrenamos modelos RexBERT que van desde 17M hasta 400M de parámetros y los evaluamos en tareas de clasificación de tokens, similitud semántica y comprensión general del lenguaje natural utilizando conjuntos de datos de comercio electrónico. A pesar de tener 2-3 veces menos parámetros, RexBERT supera a codificadores de propósito general más grandes y iguala o supera a modelos modernos de contexto largo en puntos de referencia específicos del dominio. Nuestros resultados demuestran que los datos de dominio de alta calidad combinados con un enfoque de entrenamiento fundamentado proporcionan una base más sólida para las aplicaciones de comercio electrónico que el simple escalado indiscriminado.
English
Encoder-only transformers remain indispensable in retrieval, classification, and ranking systems where latency, stability, and cost are paramount. Most general purpose encoders, however, are trained on generic corpora with limited coverage of specialized domains. We introduce RexBERT, a family of BERT-style encoders designed specifically for e-commerce semantics. We make three contributions. First, we release Ecom-niverse, a 350 billion token corpus curated from diverse retail and shopping sources. We describe a modular pipeline that isolates and extracts e-commerce content from FineFineWeb and other open web resources, and characterize the resulting domain distribution. Second, we present a reproducible pretraining recipe building on ModernBERT's architectural advances. The recipe consists of three phases: general pre-training, context extension, and annealed domain specialization. Third, we train RexBERT models ranging from 17M to 400M parameters and evaluate them on token classification, semantic similarity, and general natural language understanding tasks using e-commerce datasets. Despite having 2-3x fewer parameters, RexBERT outperforms larger general-purpose encoders and matches or surpasses modern long-context models on domain-specific benchmarks. Our results demonstrate that high quality in-domain data combined with a principled training approach provides a stronger foundation for e-commerce applications than indiscriminate scaling alone.