Opnieuw een Pijn in de Nek: Een Semantisch Redeneerbenchmark voor Taalmodellen

Revisiting a Pain in the Neck: A Semantic Reasoning Benchmark for Language Models

April 17, 2026

Auteurs: Yang Liu, Hongming Li, Melissa Xiaohui Qin, Qiankun Liu, Chao Huang

cs.AI

Samenvatting

Wij presenteren SemanticQA, een evaluatiesuite ontworpen om taalmodellen (TM's) te beoordelen in taken voor semantische zinsverwerking. De benchmark consolideert bestaande bronnen voor multiwoordexpressies (MWEs) en reorganiseert deze tot een uniforme testomgeving. Het omvat zowel algemene lexicale fenomenen, zoals lexicale collocaties, als drie fijnmazige categorieën: idiomatische uitdrukkingen, nominale samenstellingen en verbale constructies. Via SemanticQA evalueren we TM's met uiteenlopende architecturen en schalen in extractie-, classificatie- en interpretatietaken, evenals sequentiële taakcomposities. Wij constateren aanzienlijke prestatievariatie, met name bij taken die semantisch redeneren vereisen, wat verschillen in redeneereffectiviteit en semantisch begrip van TM's benadrukt. Dit biedt inzichten voor het ontwikkelen van TM's met sterker begrip van niet-triviale semantische zinsdelen. De evaluatie-omgeving en data van SemanticQA zijn beschikbaar op https://github.com/jacklanda/SemanticQA.

English

We present SemanticQA, an evaluation suite designed to assess language models (LMs) in semantic phrase processing tasks. The benchmark consolidates existing multiword expression (MwE) resources and reorganizes them into a unified testbed. It covers both general lexical phenomena, such as lexical collocations, and three fine-grained categories: idiomatic expressions, noun compounds, and verbal constructions. Through SemanticQA, we assess LMs of diverse architectures and scales in extraction, classification, and interpretation tasks, as well as sequential task compositions. We reveal substantial performance variation, particularly on tasks requiring semantic reasoning, highlighting differences in reasoning efficacy and semantic understanding of LMs, providing insights for pushing LMs with stronger comprehension on non-trivial semantic phrases. The evaluation harness and data of SemanticQA are available at https://github.com/jacklanda/SemanticQA.