ChLogic: Evaluación de la robustez del razonamiento lógico en expresiones chinas

Resumen

Los modelos de lenguaje grandes se desempeñan cada vez mejor en evaluaciones estandarizadas de razonamiento lógico, pero no está claro si esta capacidad sigue siendo robusta más allá del inglés. Presentamos ChLogic, un punto de referencia alineado inglés-chino que evalúa si los modelos mantienen el rendimiento en razonamiento lógico cuando la misma estructura lógica latente se expresa en inglés y en diversas realizaciones superficiales en chino. Construido a partir de plantillas lógicas formales, el punto de referencia contiene tres conjuntos de datos: (i) el conjunto alineado General, derivado de 60 Proposiciones Generales en nueve familias de plantillas; (ii) el conjunto alineado Difícil, derivado de 40 Problemas Difíciles; y (iii) el conjunto solo en chino, que cubre 15 tipos de fenómenos específicos del idioma. Cada elemento alineado empareja una expresión de referencia en inglés con cinco realizaciones en chino. Experimentos con los modelos Qwen3, Ministral y GLM revelan una brecha persistente de rendimiento entre inglés y chino. La retrotraducción del chino estándar al inglés a menudo mejora el rendimiento en el conjunto alineado General, pero produce efectos mixtos en el conjunto alineado Difícil, donde Qwen3-32B y GLM-5.1 tienen un peor rendimiento después de la traducción. Estos resultados indican que la realización superficial en chino, los artefactos de traducción y el comportamiento específico del modelo afectan conjuntamente el razonamiento lógico multilingüe. En general, ChLogic proporciona una prueba de estrés útil para la robustez del razonamiento multilingüe.

English

Large language models perform increasingly well on standardized logical reasoning benchmarks, but whether this ability remains robust beyond English is unclear. We introduce ChLogic, an English--Chinese aligned benchmark that tests whether models preserve logical reasoning performance when the same latent logical structure is expressed in English and diverse Chinese surface realizations. Built from formal logical templates, the benchmark contains three data sets: (i) the General aligned set, derived from 60 General Propositions across nine template families; (ii) the Difficult aligned set, derived from 40 Difficult Problems; and (iii) the Chinese-only set, covering 15 language-specific phenomenon types. Each aligned item pairs one English reference expression with five Chinese realizations. Experiments on Qwen3, Ministral, and GLM models reveal a persistent English--Chinese performance gap. Back-translation from standard Chinese into English often improves performance on the General aligned set, but produces mixed effects on the Difficult aligned set, where Qwen3-32B and GLM-5.1 perform worse after translation. These results indicate that Chinese surface realization, translation artifacts, and model-specific behavior jointly affect multilingual logical reasoning. Overall, ChLogic provides a useful stress test for the robustness of multilingual reasoning.