ChLogic: Avaliação da Robustez do Raciocínio Lógico em Expressões Chinesas

Resumo

Modelos de linguagem de grande porte apresentam desempenho cada vez melhor em benchmarks padronizados de raciocínio lógico, mas não está claro se essa capacidade permanece robusta além do inglês. Apresentamos o ChLogic, um benchmark alinhado inglês–chinês que testa se os modelos preservam o desempenho em raciocínio lógico quando a mesma estrutura lógica latente é expressa em inglês e em diversas realizações superficiais do chinês. Construído a partir de modelos lógicos formais, o benchmark contém três conjuntos de dados: (i) o conjunto alinhado Geral, derivado de 60 Proposições Gerais em nove famílias de modelos; (ii) o conjunto alinhado Difícil, derivado de 40 Problemas Difíceis; e (iii) o conjunto exclusivamente em chinês, abrangendo 15 tipos de fenômenos específicos da língua. Cada item alinhado emparelha uma expressão de referência em inglês com cinco realizações em chinês. Experimentos com modelos Qwen3, Ministral e GLM revelam uma lacuna persistente de desempenho entre inglês e chinês. A retrotradução do chinês padrão para o inglês frequentemente melhora o desempenho no conjunto alinhado Geral, mas produz efeitos mistos no conjunto alinhado Difícil, onde Qwen3-32B e GLM-5.1 apresentam pior desempenho após a tradução. Esses resultados indicam que a realização superficial do chinês, os artefatos de tradução e o comportamento específico do modelo afetam conjuntamente o raciocínio lógico multilíngue. No geral, o ChLogic fornece um teste de estresse útil para a robustez do raciocínio multilíngue.

English

Large language models perform increasingly well on standardized logical reasoning benchmarks, but whether this ability remains robust beyond English is unclear. We introduce ChLogic, an English--Chinese aligned benchmark that tests whether models preserve logical reasoning performance when the same latent logical structure is expressed in English and diverse Chinese surface realizations. Built from formal logical templates, the benchmark contains three data sets: (i) the General aligned set, derived from 60 General Propositions across nine template families; (ii) the Difficult aligned set, derived from 40 Difficult Problems; and (iii) the Chinese-only set, covering 15 language-specific phenomenon types. Each aligned item pairs one English reference expression with five Chinese realizations. Experiments on Qwen3, Ministral, and GLM models reveal a persistent English--Chinese performance gap. Back-translation from standard Chinese into English often improves performance on the General aligned set, but produces mixed effects on the Difficult aligned set, where Qwen3-32B and GLM-5.1 perform worse after translation. These results indicate that Chinese surface realization, translation artifacts, and model-specific behavior jointly affect multilingual logical reasoning. Overall, ChLogic provides a useful stress test for the robustness of multilingual reasoning.