ChLogic : Évaluation de la Robustesse du Raisonnement Logique dans les Expressions Chinoises

Résumé

Les grands modèles de langage obtiennent des performances de plus en plus élevées sur les benchmarks standardisés de raisonnement logique, mais il n'est pas clair si cette capacité reste robuste au-delà de l'anglais. Nous présentons ChLogic, un benchmark aligné anglais-chinois qui teste si les modèles conservent leurs performances en raisonnement logique lorsque la même structure logique latente est exprimée en anglais et dans diverses réalisations de surface chinoises. Construit à partir de patrons logiques formels, ce benchmark comprend trois ensembles de données : (i) l'ensemble aligné général, dérivé de 60 propositions générales réparties en neuf familles de patrons ; (ii) l'ensemble aligné difficile, dérivé de 40 problèmes difficiles ; et (iii) l'ensemble exclusivement chinois, couvrant 15 types de phénomènes spécifiques à la langue. Chaque élément aligné associe une expression de référence en anglais à cinq réalisations en chinois. Des expériences menées sur les modèles Qwen3, Ministral et GLM révèlent un écart de performance persistant entre l'anglais et le chinois. La rétro-traduction du chinois standard vers l'anglais améliore souvent les performances sur l'ensemble aligné général, mais produit des effets mitigés sur l'ensemble aligné difficile, où Qwen3-32B et GLM-5.1 obtiennent des résultats inférieurs après traduction. Ces résultats indiquent que la réalisation de surface en chinois, les artefacts de traduction et le comportement spécifique aux modèles influencent conjointement le raisonnement logique multilingue. Dans l'ensemble, ChLogic constitue un test de résistance utile pour évaluer la robustesse du raisonnement multilingue.

English

Large language models perform increasingly well on standardized logical reasoning benchmarks, but whether this ability remains robust beyond English is unclear. We introduce ChLogic, an English--Chinese aligned benchmark that tests whether models preserve logical reasoning performance when the same latent logical structure is expressed in English and diverse Chinese surface realizations. Built from formal logical templates, the benchmark contains three data sets: (i) the General aligned set, derived from 60 General Propositions across nine template families; (ii) the Difficult aligned set, derived from 40 Difficult Problems; and (iii) the Chinese-only set, covering 15 language-specific phenomenon types. Each aligned item pairs one English reference expression with five Chinese realizations. Experiments on Qwen3, Ministral, and GLM models reveal a persistent English--Chinese performance gap. Back-translation from standard Chinese into English often improves performance on the General aligned set, but produces mixed effects on the Difficult aligned set, where Qwen3-32B and GLM-5.1 perform worse after translation. These results indicate that Chinese surface realization, translation artifacts, and model-specific behavior jointly affect multilingual logical reasoning. Overall, ChLogic provides a useful stress test for the robustness of multilingual reasoning.