LM-Lexicon: Mejora del Modelado de Definiciones mediante la Armonización de Expertos Semánticos

LM-Lexicon: Improving Definition Modeling via Harmonizing Semantic Experts

February 15, 2026

Autores: Yang Liu, Jiaye Yang, Weikang Li, Jiahui Liang, Yang Li, Lingyong Yan

cs.AI

Resumen

Presentamos LM-Lexicon, un enfoque innovador de modelado de definiciones que incorpora agrupación de datos, aprendizaje de expertos semánticos y fusión de modelos mediante una arquitectura dispersa de mezcla de expertos. Al descomponer la tarea de modelado de definiciones en dominios semánticos especializados, donde se entrenan pequeños modelos de lenguaje como expertos de dominio, LM-Lexicon logra mejoras sustanciales (+7% en puntuación BLEU comparado con el modelo estado del arte previo) sobre los métodos existentes en cinco puntos de referencia ampliamente utilizados. Empíricamente, demostramos que 1) la estrategia de agrupación permite una especialización experta de grano fino con una mejora de casi el 10% en la calidad de las definiciones; 2) el mecanismo de enrutamiento a nivel de dominio consciente de la semántica alcanza una mayor eficacia experta (+1%) que el enrutamiento convencional a nivel de token; y 3) se pueden obtener ganancias de rendimiento adicionales mediante el escalado de cómputo en tiempo de prueba y de expertos semánticos. Nuestro trabajo avanza el modelado de definiciones mientras proporciona información valiosa para el desarrollo de modelos de lenguaje eficientes para aplicaciones semánticamente intensivas.

English

We introduce LM-Lexicon, an innovative definition modeling approach that incorporates data clustering, semantic expert learning, and model merging using a sparse mixture-of-experts architecture. By decomposing the definition modeling task into specialized semantic domains, where small language models are trained as domain experts, LM-Lexicon achieves substantial improvements (+7% BLEU score compared with the prior state-of-the-art model) over existing methods on five widely used benchmarks. Empirically, we demonstrate that 1) the clustering strategy enables fine-grained expert specialization with nearly 10% improvement in definition quality; 2) the semantic-aware domain-level routing mechanism achieves higher expert efficacy (+1%) than conventional token-level routing; and 3) further performance gains can be obtained through test-time compute and semantic expert scaling. Our work advances definition modeling while providing insights into the development of efficient language models for semantic-intensive applications.