Revisiter un casse-tête : un benchmark de raisonnement sémantique pour les modèles de langage
Revisiting a Pain in the Neck: A Semantic Reasoning Benchmark for Language Models
April 17, 2026
Auteurs: Yang Liu, Hongming Li, Melissa Xiaohui Qin, Qiankun Liu, Chao Huang
cs.AI
Résumé
Nous présentons SemanticQA, une suite d'évaluation conçue pour évaluer les modèles de langage (LM) dans des tâches de traitement d'expressions sémantiques. Ce benchmark consolide les ressources existantes sur les expressions polylexicales (EPL) et les réorganise en un environnement de test unifié. Il couvre à la fois des phénomènes lexicaux généraux, comme les collocations lexicales, et trois catégories plus fines : les expressions idiomatiques, les composés nominaux et les constructions verbales. Grâce à SemanticQA, nous évaluons des LM d'architectures et de tailles variées sur des tâches d'extraction, de classification et d'interprétation, ainsi que sur des compositions séquentielles de tâches. Nous révélons des variations substantielles de performance, particulièrement sur les tâches nécessitant un raisonnement sémantique, mettant en lumière des différences d'efficacité du raisonnement et de compréhension sémantique des LM. Ces résultats offrent des perspectives pour développer des modèles de langage dotés d'une compréhension plus robuste des expressions sémantiques complexes. L'infrastructure d'évaluation et les données de SemanticQA sont disponibles à l'adresse https://github.com/jacklanda/SemanticQA.
English
We present SemanticQA, an evaluation suite designed to assess language models (LMs) in semantic phrase processing tasks. The benchmark consolidates existing multiword expression (MwE) resources and reorganizes them into a unified testbed. It covers both general lexical phenomena, such as lexical collocations, and three fine-grained categories: idiomatic expressions, noun compounds, and verbal constructions. Through SemanticQA, we assess LMs of diverse architectures and scales in extraction, classification, and interpretation tasks, as well as sequential task compositions. We reveal substantial performance variation, particularly on tasks requiring semantic reasoning, highlighting differences in reasoning efficacy and semantic understanding of LMs, providing insights for pushing LMs with stronger comprehension on non-trivial semantic phrases. The evaluation harness and data of SemanticQA are available at https://github.com/jacklanda/SemanticQA.