Neubetrachtung eines lästigen Problems: Eine Benchmark für semantisches Reasoning bei Sprachmodellen
Revisiting a Pain in the Neck: A Semantic Reasoning Benchmark for Language Models
April 17, 2026
Autoren: Yang Liu, Hongming Li, Melissa Xiaohui Qin, Qiankun Liu, Chao Huang
cs.AI
Zusammenfassung
Wir stellen SemanticQA vor, eine Evaluierungssuite zur Bewertung von Sprachmodellen (LMs) in Aufgaben der semantischen Phrasenverarbeitung. Die Benchmark konsolidiert bestehende Ressourcen für Mehrworteinheiten (MwE) und strukturiert sie zu einer einheitlichen Testumgebung um. Sie umfasst sowohl allgemeine lexikalische Phänomene, wie lexikalische Kollokationen, als auch drei feinkörnige Kategorien: idiomatische Ausdrücke, Nominalkomposita und verbale Konstruktionen. Mit SemanticQA bewerten wir LMs verschiedener Architekturen und Größenordnungen in Extraktions-, Klassifikations- und Interpretationsaufgaben sowie sequenziellen Aufgabenkompositionen. Wir zeigen erhebliche Leistungsunterschiede auf, insbesondere bei Aufgaben, die semantisches Schlussfolgern erfordern, was Unterschiede in der Schlussfolgereffizienz und im semantischen Verständnis von LMs verdeutlicht und Erkenntnisse für die Entwicklung von LMs mit besserem Verständnis nicht-trivialer semantischer Phrasen liefert. Die Evaluierungswerkzeuge und Daten von SemanticQA sind unter https://github.com/jacklanda/SemanticQA verfügbar.
English
We present SemanticQA, an evaluation suite designed to assess language models (LMs) in semantic phrase processing tasks. The benchmark consolidates existing multiword expression (MwE) resources and reorganizes them into a unified testbed. It covers both general lexical phenomena, such as lexical collocations, and three fine-grained categories: idiomatic expressions, noun compounds, and verbal constructions. Through SemanticQA, we assess LMs of diverse architectures and scales in extraction, classification, and interpretation tasks, as well as sequential task compositions. We reveal substantial performance variation, particularly on tasks requiring semantic reasoning, highlighting differences in reasoning efficacy and semantic understanding of LMs, providing insights for pushing LMs with stronger comprehension on non-trivial semantic phrases. The evaluation harness and data of SemanticQA are available at https://github.com/jacklanda/SemanticQA.